Datakwaliteit optimaliseren voor AI: Onze inzichten in het testen en valideren van datatransformaties

12 juni 2024 | 4 minuten leestijd

Het waarborgen van de nauwkeurigheid van de data pipelines is een belangrijk aspect voor elke data-gedreven organisatie. Nu steeds meer organisaties vertrouwen op kunstmatige intelligentie (AI) voor besluitvorming en automatisering, wordt de nauwkeurigheid en integriteit van hun data nog belangrijker. Weten hoeveel tijd je moet uittrekken voor het testen en valideren van datatransformaties kan het verschil maken tussen succes en kostbare fouten. Op basis van onze ervaring met data validatie delen we onze inzichten over de nuances tussen verschillende databronnen en onze best practices voor tijdsindeling.

Belangrijkste fasen voor data validatie

1. Extractie en Laden (EL)

In de EL-fase worden gegevens uit verschillende bronnen gehaald en in een datawarehouse of data lake geladen. Bij ons wordt dit proces beheerd door onze data engineers die ervoor zorgen dat alle data correct door de pipelines stromen. Ze richten zich op de flow en de volledigheid van de data, niet noodzakelijk op de kwaliteit. De gedetailleerde validatie bewaren we vaak voor de volgende fase.

2. Data modellering

Data modellering is waar de transformatie (T) plaatsvindt, vaak met behulp van tools zoals DBT. In deze belangrijke fase worden data omgezet naar structuren die voorzien in de data behoefte van het bedrijf. Onze analytics engineers nemen deze taak op zich en besteden veel aandacht aan de kwaliteit van de gegevens om ervoor te zorgen dat de modellen correct worden geïmplementeerd en dat de gegevens die ze produceren betrouwbaar en consistent zijn. Het testen in deze fase is intensief en weerspiegelt het cruciale belang van nauwkeurige datamodellering.

3. Activatie

De activatiefase omvat rapportage/dashboarding, geavanceerde analyse en het leveren van data aan andere systemen zoals e-mailserviceproviders, of ten behoeve van geautomatiseerde triggers. Validatie hier zorgt ervoor dat de data die in rapporten en analyses wordt gebruikt nauwkeurig en bruikbaar is, waardoor goed geïnformeerde keuzes worden gemaakt en alles efficiënt blijft werken.

Framework voor datakwaliteit en kwaliteitsbewaking

Wij geloven dat een robuust data kwaliteit framework essentieel is voor het handhaven van hoge normen van data integriteit. Het implementeren van geautomatiseerde monitoringsystemen helpt ons bij het bijhouden van data kwaliteit metrics en het snel identificeren en aanpakken van problemen. Onze frameworks omvatten meestal:

• Criteria voor datakwaliteit: Specifieke criteria waaraan gegevens moeten voldoen om als geldig te worden beschouwd.
• Geautomatiseerd testen: Tools zoals DBT en Looker hebben ingebouwde validatiemogelijkheden die we goed kunnen configureren, zodat het toepassen van criteria, geautomatiseerd testen en continue monitoring mogelijk zijn.
• Monitoringtools: Geautomatiseerde systemen die continu de datakwaliteit controleren en waarschuwen als er problemen optreden.
• Regelmatige audits: Periodieke controles om de integriteit van gegevens en de naleving van normen te waarborgen.

We stemmen onze aanpak van data validatie en testen af op de omvang en complexiteit van het project. Kleine bedrijven kunnen zich vanwege beperkte middelen richten op handmatige testmethoden, terwijl grote bedrijven geautomatiseerde oplossingen kunnen gebruiken en hele teams kunnen inzetten voor datakwaliteit. Ongeacht de grootte is het belangrijk om een schaalbaar framework voor datakwaliteit te gebruiken dat met je organisatie kan meegroeien.

Web analytics versus transactionele databronnen

Uit onze ervaring blijkt dat de testmethodologieën aanzienlijk verschillen tussen webanalyse data en gegevens die afkomstig zijn van operationele systemen zoals je CRM, sales en ERP. Webanalyse data zijn vaak van mindere kwaliteit, met ontbrekende waarden en doublures. Creatieve ontdubbelingstechnieken zijn nodig om situaties aan te pakken waarbij duplicaten verschillende sleutels kunnen hebben. De transactionele databronnen daarentegen vereisen over het algemeen een gestructureerde validatieaanpak om de integriteit en betrouwbaarheid van de transactionele gegevens te garanderen.

De curve van volwassenheid in het testen van data

We hebben gemerkt dat meer volwassen datateams veel investeren in het testen van data. Naarmate bedrijven groeien, ontstaan er snellere ontwikkelingscycli en een breder blikveld op de implicaties van dataproblemen. Deze volwassenheid leidt tot investeringen in technologische oplossingen en het toewijzen van meer middelen aan testen en validatie, waarbij de rol van testen voor het behoud van datakwaliteit en operationele efficiëntie wordt erkend. Vooral ervaren analisten hebben een grote toegevoegde waarde, omdat ze snel de hoofdoorzaak van mismatches kunnen identificeren en de impact van kwaliteitsfouten in een breder perspectief kunnen zetten.

Onze vuistregels voor tijdsindeling

Op basis van onze ervaring zou een algemene vuistregel voor de verdeling van tijd over verschillende stadia van de data pipeline er als volgt uit kunnen zien:

• Extractie en laden (EL): Besteed in dit stadium ongeveer 10 tot 20% van de tijd aan testen en valideren.
• Datamodellering: In dit stadium besteden we ongeveer 30 tot 50% van de tijd aan testen en valideren, gezien de kritieke rol die het speelt bij het definiëren van de datastructuur.
• Activatie: Om ervoor te zorgen dat de output accuraat en bruikbaar is, nemen testen en validatie over het algemeen 20 tot 30% van de tijd voor deze fase in beslag.

Het is belangrijk op te merken dat deze percentages kunnen variëren op basis van specifieke projectbehoeften en de complexiteit van de betrokken databronnen.

De toekomst van testen en validatie

Met het toenemende volume en de toenemende complexiteit van data denken we dat het belang van testen en valideren alleen maar zal toenemen. Toekomstige trends suggereren een verschuiving naar meer geautomatiseerde, doorlopende testmethoden die geïntegreerd zijn in de operatie. Deze ontwikkelingen zijn erop gericht om zowel de nauwkeurigheid als de efficiëntie van de datavalidatieprocessen te verbeteren. Hiermee worden deze beter gewaarborgd. Bovendien is een hoge datakwaliteit van vitaal belang voor het succes van AI-strategieën.

Conclusie

Voor organisaties en afdelingen die eersteklas dataservices leveren aan interne of externe klanten, is het zeer belangrijk om een gestructureerd, fase-specifiek test- en validatieframework te gebruiken. Deze aanpak garandeert niet alleen de integriteit en betrouwbaarheid van data, maar verhoogt ook de totale waarde die wordt geleverd. Door prioriteit te geven aan grondige tests en validatie, ondersteund door robuuste frameworks voor datakwaliteit en monitoring, kun je jouw gegevens veiligstellen, betere besluitvorming stimuleren en je concurrentievoordeel behouden in een wereld die steeds meer door AI wordt gevoed.