# Complexe data-architectuur en migraties die tot op de cent kloppen

> Migraties, datamodellen en pijplijnen waarbij je achteraf kunt bewijzen dat alles klopt.

Wij ontwerpen en bouwen complexe data-opzetten: migraties tussen databases, datamodellen die jarenlang meegroeien, en pijplijnen die data veilig beschikbaar maken voor analyse en AI. Kenmerkend is dat we verificatie inbouwen: aantallen, sleutels en bedragen worden na elke run automatisch vergeleken met de bron.

## Wanneer je ons belt

- Je wilt van SQL Server of een ander legacy-systeem naar PostgreSQL.
- Je wilt AI of analisten op productiedata laten werken zonder persoonsgegevens bloot te stellen.
- Meerdere systemen delen een datamodel en elke wijziging dreigt iets te breken.
- Je data zit verspreid over systemen en niemand vertrouwt de cijfers.

Niet voor wie alleen dashboards zoekt; wij bouwen de datalaag eronder en werken graag samen met je BI-partij.

## Wat je krijgt

- **Databasemigraties.** Schema-eerst migreren met behoud van sleutels, relaties en indexen, herhaalbaar en zonder productie aan te raken.
- **Maskering met behoud van samenhang.** Dezelfde echte waarde wordt overal dezelfde nepwaarde, zodat koppelingen en analyses blijven kloppen.
- **Verificatie als poort.** Een go/no-go-controle op aantallen rijen, exacte gelijkheid van geldbedragen, aanwezige relaties en PII-lekken.
- **Datamodellen die mee-evolueren.** Additieve, achterwaarts compatibele wijzigingen voor systemen waarvan oude clients blijven bestaan.
- **Data klaar voor AI.** Alleen-lezen rollen, vertaalde en gecureerde views en vectorzoeken, zodat een model veilig vragen kan beantwoorden.

## Zo pakken we het aan

1. **Bron begrijpen.** We inventariseren tabellen, relaties, gevoelige velden en de vragen die de data moet kunnen beantwoorden.
2. **Herhaalbare pijplijn.** Herstellen in een wegwerpomgeving, laden, maskeren, verifiëren, publiceren. Elke stap opnieuw uit te voeren.
3. **Pas live na bewijs.** De verificatiestap moet slagen voordat iemand, mens of model, toegang krijgt.

## Techniek

PostgreSQL, pgvector, SQL Server, pgloader, Presidio, Python, Firestore, Supabase, Redis, Docker

## Bewijs uit ons eigen werk

- Gemaskeerde PostgreSQL-kopie van zes SQL Server-databases voor een financiële dienstverlener, met een herhaalbare pijplijn en geautomatiseerde verificatie. ([Een private AI-platform voor een financiële dienstverlener](https://mg-devs.nl/cases/private-ai-platform-fintech/))
- Eén datacontract tussen een live app en een beheerportaal, verdeeld over aparte databases per organisatie, zonder oude appversies te breken. ([Eén platform, zeven apps: het carnavalsplatform](https://mg-devs.nl/cases/carnaval-app-platform/))

## Veelgestelde vragen

### Hoe migreer je van SQL Server naar PostgreSQL zonder risico voor productie?

Door nooit op productie te werken. We herstellen een back-up in een tijdelijke omgeving, migreren van daaruit en vergelijken het resultaat automatisch met de bron. De pijplijn is herhaalbaar, dus een mislukte run kost alleen tijd.

### Hoe laat je AI veilig met bedrijfsdata werken?

Met een aparte, alleen-lezen kopie waarin persoonsgegevens zijn gemaskeerd en waarin sleutels en bedragen intact blijven. Het model krijgt een rol met alleen leesrechten op gecureerde views.

### Wat betekent 'achterwaarts compatibel' bij data?

Dat een wijziging bestaande gebruikers niet breekt. Je voegt velden toe in plaats van ze te hernoemen of verwijderen, en houdt oude velden gevuld zolang er software bestaat die ze leest.

---
Source: https://mg-devs.nl/diensten/data-engineering/
