Direct naar de inhoud
Mardi Gras Developers
Menu+

Fintech · 2026 – heden

Een private AI-platform voor een financiële dienstverlener

Een financiële dienstverlener wilde medewerkers met AI laten werken, zonder dat klantgegevens Europa verlaten en zonder afhankelijk te worden van één aanbieder. We bouwden een eigen AI-platform met een model-gateway, EU-routering die blokkeert als ze niet kan worden gegarandeerd, en een gemaskeerde kopie van de productiedata waar AI vragen over kan beantwoorden.

Bijgewerkt

7, elk met EU-terugvalroute
Modelniveaus
9, alle op vaste versies
Diensten in de stack
6 SQL Server-databases
Brondatabases
Uitsluitend Europese endpoints
Verwerking

Klant Europese financiële dienstverlener (naam vertrouwelijk)

De uitdaging

  • Medewerkers hadden behoefte aan AI-ondersteuning, maar publieke tools zijn voor financiële en persoonsgegevens geen optie.
  • De organisatie moest kunnen aantonen waar prompts en antwoorden worden verwerkt.
  • Analisten wilden vragen stellen over productiedata, die vol persoonsgegevens zit en in SQL Server staat.
MedewerkerSSOZero-trustinloggen vereistPII-maskeringPresidioModel-gateway7 niveaus · fail closedEU-modelprimairEU-terugvaltweede aanbiederBuiten de EUgeblokkeerd

Wat we bouwden

  1. 01

    Model-gateway met niveaus per taak

    Eén gateway met zeven modelniveaus: van snel en goedkoop voor dagelijkse vragen tot zware modellen voor diepgaande analyse. Elk niveau heeft een terugvalroute naar een tweede Europese aanbieder.

  2. 02

    EU-routering die fail closed is

    Alle verzoeken zijn vastgezet op Europese endpoints. Heeft een model geen EU-endpoint, dan neemt de EU-terugvalroute het over; is die er niet, dan wordt het verzoek geweigerd. Open-source modellen draaien alleen op Europese infrastructuur en zijn uitgesloten van kredietbeslissingen.

  3. 03

    Gemaskeerde analytische kopie

    Een herhaalbare pijplijn zet back-ups van zes SQL Server-databases om naar PostgreSQL: herstellen in een wegwerpomgeving, laden, maskeren, verifiëren en publiceren. Persoonsgegevens worden deterministisch vervangen, sleutels en bedragen blijven intact.

  4. 04

    Verificatie als harde poort

    Voor publicatie controleert de pijplijn het aantal rijen, de exacte gelijkheid van geldbedragen tussen bron en doel, de aanwezige relaties en mogelijke PII-lekken.

  5. 05

    Zoekkwaliteit gemeten, niet aangenomen

    Een evaluatiescript meet recall en MRR van het zoeken in de kennisbanken. Op basis daarvan kozen we voor een deterministische voorbewerking die elke passage zijn documenttitel en koppen meegeeft, in plaats van een duurdere variant waarbij een model elke passage herschrijft. Dat kost geen modelaanroepen en er verlaat geen tekst de omgeving.

  6. 06

    Een aparte, afgeschermde analistenomgeving

    Vragen aan de database lopen via een eigen terminal met een rol die alleen mag lezen op de gemaskeerde kopie. Die scheiding kwam er nadat we zagen dat een gedeelde terminal geheimen van andere diensten kon tonen.

  7. 07

    Geharde infrastructuur

    Gebruikers komen binnen via Cloudflare Zero Trust met single sign-on. De negen diensten publiceren zelf geen poorten naar internet, alle images zijn vastgepind en containers kunnen geen extra rechten verkrijgen. Een audit van de draaiende server legde vast wat nog open stond en in welke volgorde dat veilig dicht kan.

Resultaat

  • Medewerkers werken met AI in een eigen omgeving, zonder dat prompts of antwoorden buiten Europa worden verwerkt.
  • Analisten kunnen in gewone taal vragen stellen over een alleen-lezen kopie waarin geen echte persoonsgegevens staan.
  • Elke architectuurkeuze staat met reden in een beslisdocument dat compliance kan meelezen.
  • De organisatie zit niet vast aan één AI-aanbieder: een model wisselen is een configuratiewijziging.

Techniek

  • Open WebUI
  • LiteLLM
  • OpenRouter EU
  • Amazon Bedrock EU
  • PostgreSQL + pgvector
  • SQL Server
  • pgloader
  • Presidio
  • Docling
  • Redis
  • Cloudflare Zero Trust
  • Docker Compose

Ingezette diensten

Contact

Plan een kennismaking van 30 minuten

Beschrijf je vraag in een paar zinnen. Kevin of Pascal reageert persoonlijk.