Datawarehouse migratie naar de Cloud en de rol van een Product Owner
Om in een modern en dynamisch landschap competitief te blijven zien wij organisaties in de afgelopen jaren data migratie strategieën implementeren. Migratie projecten worden gestart om onder andere on premise datawarehouses naar de Cloud te migreren. Enige tijd geleden was ik als Product Owner verantwoordelijk voor het migreren van een bestaande datawarehouse naar de AWS Cloud. In deze blog deel ik graag de uitdagingen en learnings met jullie.
Grote hoeveelheid aan data en omgaan met persoonlijke gegevens
Het project was zonder Product Owner van start gegaan en door het team werd bepaald dat voor de migratie naar de Cloud feature parity van belang was. Uit een assessment was in kaart gebracht dat 36 verschillende tabellen, waaronder klantgegevens, prijsgegevens, productgegevens geonboard moest worden op het nieuwe platform in de AWS Cloud. De data van deze tabellen moest als input dienen voor twee bestaande dashboards: De Active Base Dashboard en de Sales and Value dashboard.
Als team liepen wij tegen diverse uitdagingen aan. Om te beginnen vergde het veel tijd om de 36 tabellen te onboarden op het nieuwe platform. In de eerste sprint probeerde het team complete tabellen in één keer op het nieuwe platform te laden. Echter faalde het ladingsproces continue door de hoge volume aan data. Om dit probleem op te lossen heeft het team een stukje pre-processingfunctionaliteit geïmplementeerd.
Een ander uitdaging voor het team was klantgegevens onboarden. Volgens GDPR(General Data Protection Regulation) moet alle persoonlijke gegevens gedecrypt worden. Om dit te waarborgen is een de crypt functionaliteit nodig. De bestaande de cryptfeature voldeed niet aan de wensen, omdat bepaalde gegevens velden ontbraken. Het team dat de decrypt feature ontwikkeld en beheerd had andere prioriteiten en dit resulteerde in dat ons team de feature zelf moest door ontwikkelen.
Nieuwe manier van denken en aanpak
Uit mijn ervaring als Product Owner en wat ik zie ik vanuit het praktijk is dat er soms (te) veel tijd en effort wordt besteed aan het onboarden van zoveel mogelijk data in de datawarehouse. Dit is ook gebeurd binnen dit project. Maar dit proces kan erg tijdrovend zijn en misschien niet nodig? Wat ik in het vervolg anders wil doen? Een value driven aanpak. Als vertrekpunt moet niet gedacht worden dat X, Y,Z op het huidig platform ook op het nieuwe platform beschikbaar moet zijn. Een Product Owner moet voor de start betrokken/aangesteld worden om met de business stakeholders in kaart te brengen wie de eind gebruikers zijn, wat voor data benodigd zijn en waarom. Data en dashboards op het oude platform zijn meestal jaren geleden ontwikkeld en wellicht nu niet meer relevant. Wat denk jij?
