Fintech · 2026 – heden
Een private AI-platform voor een financiële dienstverlener
Een financiële dienstverlener wilde medewerkers met AI laten werken, zonder dat klantgegevens Europa verlaten en zonder afhankelijk te worden van één aanbieder. We bouwden een eigen AI-platform met een model-gateway, EU-routering die blokkeert als ze niet kan worden gegarandeerd, en een gemaskeerde kopie van de productiedata waar AI vragen over kan beantwoorden.
Bijgewerkt
- 7, elk met EU-terugvalroute
- Modelniveaus
- 9, alle op vaste versies
- Diensten in de stack
- 6 SQL Server-databases
- Brondatabases
- Uitsluitend Europese endpoints
- Verwerking
Klant Europese financiële dienstverlener (naam vertrouwelijk)
De uitdaging
- Medewerkers hadden behoefte aan AI-ondersteuning, maar publieke tools zijn voor financiële en persoonsgegevens geen optie.
- De organisatie moest kunnen aantonen waar prompts en antwoorden worden verwerkt.
- Analisten wilden vragen stellen over productiedata, die vol persoonsgegevens zit en in SQL Server staat.
Wat we bouwden
- 01
Model-gateway met niveaus per taak
Eén gateway met zeven modelniveaus: van snel en goedkoop voor dagelijkse vragen tot zware modellen voor diepgaande analyse. Elk niveau heeft een terugvalroute naar een tweede Europese aanbieder.
- 02
EU-routering die fail closed is
Alle verzoeken zijn vastgezet op Europese endpoints. Heeft een model geen EU-endpoint, dan neemt de EU-terugvalroute het over; is die er niet, dan wordt het verzoek geweigerd. Open-source modellen draaien alleen op Europese infrastructuur en zijn uitgesloten van kredietbeslissingen.
- 03
Gemaskeerde analytische kopie
Een herhaalbare pijplijn zet back-ups van zes SQL Server-databases om naar PostgreSQL: herstellen in een wegwerpomgeving, laden, maskeren, verifiëren en publiceren. Persoonsgegevens worden deterministisch vervangen, sleutels en bedragen blijven intact.
- 04
Verificatie als harde poort
Voor publicatie controleert de pijplijn het aantal rijen, de exacte gelijkheid van geldbedragen tussen bron en doel, de aanwezige relaties en mogelijke PII-lekken.
- 05
Zoekkwaliteit gemeten, niet aangenomen
Een evaluatiescript meet recall en MRR van het zoeken in de kennisbanken. Op basis daarvan kozen we voor een deterministische voorbewerking die elke passage zijn documenttitel en koppen meegeeft, in plaats van een duurdere variant waarbij een model elke passage herschrijft. Dat kost geen modelaanroepen en er verlaat geen tekst de omgeving.
- 06
Een aparte, afgeschermde analistenomgeving
Vragen aan de database lopen via een eigen terminal met een rol die alleen mag lezen op de gemaskeerde kopie. Die scheiding kwam er nadat we zagen dat een gedeelde terminal geheimen van andere diensten kon tonen.
- 07
Geharde infrastructuur
Gebruikers komen binnen via Cloudflare Zero Trust met single sign-on. De negen diensten publiceren zelf geen poorten naar internet, alle images zijn vastgepind en containers kunnen geen extra rechten verkrijgen. Een audit van de draaiende server legde vast wat nog open stond en in welke volgorde dat veilig dicht kan.
Resultaat
- Medewerkers werken met AI in een eigen omgeving, zonder dat prompts of antwoorden buiten Europa worden verwerkt.
- Analisten kunnen in gewone taal vragen stellen over een alleen-lezen kopie waarin geen echte persoonsgegevens staan.
- Elke architectuurkeuze staat met reden in een beslisdocument dat compliance kan meelezen.
- De organisatie zit niet vast aan één AI-aanbieder: een model wisselen is een configuratiewijziging.
Techniek
- Open WebUI
- LiteLLM
- OpenRouter EU
- Amazon Bedrock EU
- PostgreSQL + pgvector
- SQL Server
- pgloader
- Presidio
- Docling
- Redis
- Cloudflare Zero Trust
- Docker Compose