Artikelenreeks over het vervangen van legacysoftware, deel 2: data en datamigratie

Artikelenreeks over het vervangen van legacysoftware: data en datamigratie

Wanneer organisaties legacysoftware vervangen, is de grootste technische uitdaging het veilig overbrengen van decennia aan bedrijfskritische data van oude naar nieuwe systemen, zonder informatie te verliezen, records te beschadigen of de dagelijkse bedrijfsvoering te verstoren.

Datamigratie lijkt op het verhuizen van een bibliotheek die al 25 jaar draait. De boeken (de data van de organisatie) zijn geordend door bibliothecarissen die allang met pensioen zijn. Sommige boeken staan op de verkeerde plek, bij andere ontbreken pagina's, en het catalogussysteem gebruikt een nummering die niemand nog volledig kent. Nu moet alles naar een nieuw gebouw met een compleet andere ordening, en de bibliotheek kan tijdens de verhuizing niet dicht.

Na het lezen van dit artikel begrijpen lezers hoe datamigratie aan te pakken bij het vervangen van legacysystemen, welke uitdagingen daarbij komen kijken en welke praktische strategieën de bedrijfscontinuïteit tijdens de overgang waarborgen.

Het dilemma van datamigratie

Legacysystemen stapelen na decennia van gebruik data-inconsistenties op. Wat begint als een schone database ontwikkelt geleidelijk hiaten, duplicaten en uitzonderingsgevallen waar de oorspronkelijke ontwerpers nooit rekening mee hebben gehouden. Gebruikers passen hun werkwijzen aan die eigenaardigheden aan en creëren zo informele bedrijfsregels die nergens gedocumenteerd staan.

Wanneer Eli5 legacysystemen beoordeelt met het oog op modernisering, blijkt datakwaliteit telkens de grootste bottleneck bij de migratie. Systemen die jarenlang betrouwbaar hebben gedraaid, leggen ineens fundamentele problemen met de data-integriteit bloot zodra ze onderworpen worden aan moderne validatieregels.

"Het grootste probleem is dat ons nieuwe systeem al die mogelijkheden heeft en verwacht dat data consistent is", legt Kishan, CTO bij Eli5, uit. "Maar data die door iemand anders in een legacysysteem is aangemaakt, kent misschien niet dezelfde beperkingen. Dus er zijn veel hiaten, er ontbreekt veel data, er zijn veel inconsistenties, en dat schaadt de migratie."

De strategie met twee routes

Organisaties staan voor een fundamentele keuze bij het behouden van legacydata: integreren of migreren.

Integratieaanpak: Een integratielaag bouwen die bestaande systemen ongemoeid laat en tegelijkertijd API's beschikbaar maakt voor nieuwe applicaties. Deze aanpak beperkt het risico en maakt snelle ontwikkeling van nieuwe functionaliteit mogelijk zonder gevestigde workflows te verstoren.

De integratielaag fungeert als vertaler tussen oude en nieuwe systemen en vangt verschillen in dataformaten en de vertaling van bedrijfsregels op. Gebruikers blijven werken met vertrouwde processen en krijgen tegelijk toegang tot moderne functionaliteit.

Migratieaanpak: Data volledig verplaatsen van oude systemen naar nieuwe. Dit traject biedt voordelen op de lange termijn, zoals lagere onderhoudskosten en een uniforme data-architectuur, maar vraagt om uitgebreide opschoning en validatie van data.

De meeste organisaties beginnen met integratie voor snelle resultaten en migreren daarna geleidelijk niet-kritieke datadelen, voordat de kernprocessen van de business aan de beurt zijn.

Data-archeologie: werken met ongedocumenteerde systemen

Legacysystemen overleven hun makers vaak. De oorspronkelijke ontwikkelaars zijn vertrokken, de documentatie is onvolledig en de bedrijfslogica bestaat alleen nog in de code zelf.

"Een enkele keer zijn we gevallen tegengekomen waarin bedrijven al jaren draaiden op iets dat in het begin door één persoon binnen het bedrijf was gemaakt", merkt Kishan op. "Niemand mag eraan komen, op die ene persoon na. Meestal gaat het om bedrijven die werken met een Access-database of een database die lokaal draait op een computer ergens onder iemands bureau."

Bij dit soort archeologische uitdagingen richt de aanpak van Eli5 zich op samenwerking en systematische ontdekking:

Reconstructie van bedrijfslogica: nauw samenwerken met medewerkers die er al lang bij zijn, om te begrijpen hoe het systeem is geëvolueerd en welke bedrijfsregels in de loop van de tijd zijn ontstaan

Analyse van datapatronen: de data zelf onderzoeken om ontbrekende bedrijfsregels en beperkingen af te leiden

Geleidelijk begrip: kennis stapsgewijs opbouwen in plaats van vooraf volledige documentatie te willen opstellen

De uitdaging van datakwaliteit

Bij de migratie van legacydata komen kwaliteitsproblemen aan het licht die tijdens de normale bedrijfsvoering onzichtbaar bleven. De meest voorkomende problemen zijn ontbrekende data, waarbij velden die een waarde zouden moeten bevatten leeg of null zijn, inconsistente formaten zoals datums die als tekst zijn opgeslagen of adressen die verschillende conventies volgen, verweesde records die verwijzen naar data die niet langer in het systeem staat, en schendingen van bedrijfsregels waarbij oude data botst met de huidige validatievereisten.

Deze problemen stapelen zich in de loop van de tijd op naarmate systemen zich ontwikkelen zonder een allesomvattend databeheer.

De oplossing vereist zowel automatisering als menselijk oordeel. Eén optie, legt Kishan uit, is om alles te laten vallen en de data simpelweg niet te migreren omdat ze niet is zoals ze zou moeten zijn, maar normaal gesproken is dat niet acceptabel. "De tweede stap is dan om de data daadwerkelijk te proberen te herstellen, wat een handmatige ingreep is."

Migratieplanning en -uitvoering

Een geslaagde datamigratie vraagt om scenariogebaseerde planning met heldere aannames en terugvalopties. In het beste geval is de data grotendeels schoon, met voorspelbare patronen en minimale hiaten. Het middenscenario kent enkele datakwaliteitsproblemen die kunnen worden opgelost via geautomatiseerde opschoning of afleiding uit gerelateerde data. In het slechtste geval zijn er ingrijpende zakelijke beslissingen nodig over wat behouden blijft en wat opnieuw wordt opgebouwd, wanneer de datahiaten te groot zijn om te dichten.

De doorlooptijd van een migratie verschilt sterk, afhankelijk van de complexiteit van de data. Eenvoudige migraties zijn soms binnen enkele weken afgerond, terwijl complexe bedrijfssystemen maanden aan datavoorbereiding kunnen vergen.

"Ik denk niet dat er een duidelijk migratiepad is dat we voor iedereen als uitgangspunt kunnen vaststellen", merkt Kishan op. "Op dit moment werken we aan een migratieproject dat al 3 maanden loopt, maar het grootste probleem zijn de inconsistenties in de data."

Gefaseerde migratiestrategie

Systemen op enterpriseniveau vragen om een zorgvuldige afstemming van het naast elkaar bestaan van het oude en het nieuwe systeem. De aanpak hangt af van hoe diep het legacysysteem in de bedrijfsvoering is verankerd.

Voor systemen die kritieke bedrijfsprocessen aansturen, verloopt de migratie via een behoedzaam pad:

Bepaal welke niet-kritieke onderdelen als eerste kunnen worden gemigreerd zonder de kernprocessen te raken

Test migratieprocessen op geïsoleerde datasets om opschoningsprocedures te valideren

Migreer randfuncties terwijl de kernsystemen intact blijven

Draag kritieke functies pas geleidelijk over nadat is gevalideerd dat de gemigreerde onderdelen correct werken

De aanpak is vervolgens, legt Kishan uit, om niet-kritieke onderdelen stuk voor stuk te migreren en het volledige kritieke systeem onaangeroerd te laten totdat met zekerheid vaststaat dat al die kleine, reeds gemigreerde onderdelen afzonderlijk werken.

Kansen voor AI en automatisering

Moderne migratieprojecten kunnen AI inzetten voor gegevensverwerking, maar menselijk toezicht blijft essentieel. AI is uitstekend in patroonherkenning en kan ondersteunen bij datastandaardisatie door inconsistente formaten om te zetten naar standaardpatronen, bij het opvullen van hiaten door met behulp van gerelateerde gegevens ontbrekende informatie aan te vullen wanneer de context voldoende zekerheid biedt, en bij kwaliteitsdetectie om afwijkingen en inconsistenties in gegevens automatisch te signaleren.

De beperkingen van AI worden echter zichtbaar bij het gedistribueerde en inconsistente karakter van legacydata. "Legacydatabases zijn doorgaans sterk verdeeld over allerlei verschillende databasetabellen of rijen", merkt Kishan op. "Op deze gegevens is geen enkele vorm van modernisering toegepast. Daardoor is het ook heel lastig voor AI om ze te interpreteren."

De markt voor softwaremodernisering blijft groeien naarmate meer systemen het einde van hun levensduur bereiken. De fundamentele uitdaging blijft echter bestaan: legacydata past niet netjes binnen de verwachtingen van moderne systemen.

Hoewel AI-agents op termijn wellicht meer migratietaken kunnen overnemen, betekenen de huidige technologische beperkingen rond contextvensters en gegevensinconsistentie dat menselijke expertise cruciaal blijft bij bedrijfskritische migraties.

De meest succesvolle migraties combineren systematische planning met flexibele uitvoering en behandelen datamigratie als zowel een technische als een zakelijke uitdaging die nauwe samenwerking vereist tussen technische teams en zakelijke belanghebbenden.

Datamigratie plannen

Bij de aanpak van de migratie van legacydata zijn de volgende factoren van belang:

De datakwaliteit vroegtijdig beoordelen via steekproeven en analyse, voordat migratietermijnen worden vastgelegd

Rekening houden met meerdere scenario's, inclusief de kosten van dataopschoning en mogelijke wijzigingen in bedrijfsregels

Eerst integratie overwegen voor snelle resultaten, terwijl er wordt gewerkt aan migratiestrategieën voor de langere termijn

Investeren in samenwerking tussen technische teams en zakelijke gebruikers die weten hoe de gegevens in de praktijk worden gebruikt

Het doel is geen perfecte datamigratie, maar het waarborgen van bedrijfscontinuïteit en het mogelijk maken van toekomstige functionaliteit. Soms is de beste aanpak het accepteren van imperfecte gegevens in plaats van een perfecte migratie die nooit wordt afgerond.

Wat volgt in deze reeks

Komende artikelen gaan in op specifieke aspecten van het vervangen van legacysoftware:

Beslissingskaders voor de keuze tussen de zes vervangingsbenaderingen

Herontwerp van de gebruikerservaring voor bedrijfskritische systemen

Verticale SaaS-alternatieven voor volledige maatwerkherbouw

AI-agents en de toekomst van enterprise-softwarearchitectuur