# Een private AI-platform voor een financiële dienstverlener

- **Klant:** Europese financiële dienstverlener (naam vertrouwelijk)
- **Sector:** Fintech
- **Periode:** 2026 – heden
- **Modelniveaus:** 7, elk met EU-terugvalroute
- **Diensten in de stack:** 9, alle op vaste versies
- **Brondatabases:** 6 SQL Server-databases
- **Verwerking:** Uitsluitend Europese endpoints

Een financiële dienstverlener wilde medewerkers met AI laten werken, zonder dat klantgegevens Europa verlaten en zonder afhankelijk te worden van één aanbieder. We bouwden een eigen AI-platform met een model-gateway, EU-routering die blokkeert als ze niet kan worden gegarandeerd, en een gemaskeerde kopie van de productiedata waar AI vragen over kan beantwoorden.

## De uitdaging

- Medewerkers hadden behoefte aan AI-ondersteuning, maar publieke tools zijn voor financiële en persoonsgegevens geen optie.
- De organisatie moest kunnen aantonen waar prompts en antwoorden worden verwerkt.
- Analisten wilden vragen stellen over productiedata, die vol persoonsgegevens zit en in SQL Server staat.

## Wat we bouwden

- **Model-gateway met niveaus per taak.** Eén gateway met zeven modelniveaus: van snel en goedkoop voor dagelijkse vragen tot zware modellen voor diepgaande analyse. Elk niveau heeft een terugvalroute naar een tweede Europese aanbieder.
- **EU-routering die fail closed is.** Alle verzoeken zijn vastgezet op Europese endpoints. Heeft een model geen EU-endpoint, dan neemt de EU-terugvalroute het over; is die er niet, dan wordt het verzoek geweigerd. Open-source modellen draaien alleen op Europese infrastructuur en zijn uitgesloten van kredietbeslissingen.
- **Gemaskeerde analytische kopie.** Een herhaalbare pijplijn zet back-ups van zes SQL Server-databases om naar PostgreSQL: herstellen in een wegwerpomgeving, laden, maskeren, verifiëren en publiceren. Persoonsgegevens worden deterministisch vervangen, sleutels en bedragen blijven intact.
- **Verificatie als harde poort.** Voor publicatie controleert de pijplijn het aantal rijen, de exacte gelijkheid van geldbedragen tussen bron en doel, de aanwezige relaties en mogelijke PII-lekken.
- **Zoekkwaliteit gemeten, niet aangenomen.** Een evaluatiescript meet recall en MRR van het zoeken in de kennisbanken. Op basis daarvan kozen we voor een deterministische voorbewerking die elke passage zijn documenttitel en koppen meegeeft, in plaats van een duurdere variant waarbij een model elke passage herschrijft. Dat kost geen modelaanroepen en er verlaat geen tekst de omgeving.
- **Een aparte, afgeschermde analistenomgeving.** Vragen aan de database lopen via een eigen terminal met een rol die alleen mag lezen op de gemaskeerde kopie. Die scheiding kwam er nadat we zagen dat een gedeelde terminal geheimen van andere diensten kon tonen.
- **Geharde infrastructuur.** Gebruikers komen binnen via Cloudflare Zero Trust met single sign-on. De negen diensten publiceren zelf geen poorten naar internet, alle images zijn vastgepind en containers kunnen geen extra rechten verkrijgen. Een audit van de draaiende server legde vast wat nog open stond en in welke volgorde dat veilig dicht kan.

## Resultaat

- Medewerkers werken met AI in een eigen omgeving, zonder dat prompts of antwoorden buiten Europa worden verwerkt.
- Analisten kunnen in gewone taal vragen stellen over een alleen-lezen kopie waarin geen echte persoonsgegevens staan.
- Elke architectuurkeuze staat met reden in een beslisdocument dat compliance kan meelezen.
- De organisatie zit niet vast aan één AI-aanbieder: een model wisselen is een configuratiewijziging.

## Techniek

Open WebUI, LiteLLM, OpenRouter EU, Amazon Bedrock EU, PostgreSQL + pgvector, SQL Server, pgloader, Presidio, Docling, Redis, Cloudflare Zero Trust, Docker Compose

## Ingezette diensten

- [Private AI-platform](https://mg-devs.nl/diensten/private-ai-platform/)
- [AI-infrastructuur en security](https://mg-devs.nl/diensten/ai-infrastructuur-security/)
- [Data-engineering](https://mg-devs.nl/diensten/data-engineering/)
- [AI-oplossingen en agents](https://mg-devs.nl/diensten/ai-oplossingen/)

---
Source: https://mg-devs.nl/cases/private-ai-platform-fintech/
