Voorbij Modern: De Evolutie van Data Stacks

23 februari 2024 | 5 minuten leestijd

De afgelopen jaren is het datalandschap aan veel veranderingen onderhevig geweest, waarbij de Modern Data Stack (MDS) de kern van deze veranderingen vormt. Aanvankelijk verwelkomd als een revolutionaire benadering van gegevensbeheer en -analyse, heeft de noodzaak van een MDS zijn betekenis verloren ten opzichte van de noodzaak van data-activatie gegevens-activering. Nu deze evolutie zich voor de ogen van de data-gemeenschap ontvouwt, ontstaat er een debat over de geschiktheid van de term ‘modern’ om een toepassing te beschrijven die gemeengoed is geworden. De opkomende consensus neigt naar een nieuwe beschrijving: de ‘Analytics Stack’, die deze verschuiving naar meer activitie gedreven data toepassingen signaleert.

Volg de Evolutie van de Moderne Data Stack

De opkomst van de Modern Data Stack (MDS) begon met het vertrek van traditionele, monolithische databeheersystemen naar flexibelere, cloudgebaseerde alternatieven. Deze verschuiving werd gedreven door de behoefte aan schaalbaarheid, flexibiliteit en de mogelijkheid om diverse databronnen naadloos te benutten. De MDS heeft dit bereikt door een reeks cloudgebaseerde oplossingen te integreren, die elk een unieke functie vervullen in de data lifecycle, van opname en opslag tot analyse en visualisatie.

Het omarmen van Modern Data Architecture

Toegang hebben tot cloudgebaseerde oplossingen was een grote stap voorwaarts. Organisaties konden hun flexibiliteit en aanpassingsvermogen vergroten, waardoor deze robuust bleven in het licht van de snel evoluerende eisen op het gebied van data-analyse. Toch was de MDS nog steeds sterk afhankelijk van de dienstverlening van Amazon Web Services (AWS), Microsoft Azure of Google Cloud Platform (GCP). Er was nog steeds sterke technologische kennis vereist voor het ontwikkelen, implementeren en onderhouden van een Modern Data Stack, waardoor datateams sterk afhankelijk waren van de beschikbaarheid van data engineers. Met de opkomst van self-service cloudgebaseerde Software as a Service (SaaS)-oplossingen voor het opnemen, transformeren, opslaan en exporteren van gegevens is deze afhankelijkheid aanzienlijk afgenomen.

De verschuiving naar Analytics Stack

De transitie van een ‘moderne’ data-architectuur naar een analytics-architectuur is niet alleen semantisch. Het weerspiegelt de bredere rol van de architectuur bij het genereren van bruikbare data producten, zoals inzichten in dashboards, analyses en input voor activatie tools, in plaats van alleen maar gegevens op te slaan en te verwerken. Dit toont de vooruitgang van de sector aan op het gebied van activatie gestuurde analyses, die zich richten op het extraheren en benutten van gegevens om bedrijfs tactieken te activeren die strategieën ondersteunen en inzichten gebruiken om de operationele efficiëntie te optimaliseren.

Als gevolg hiervan is het gebruik van SaaS-tools voor gegevensverwerking toegenomen. Het gebruik van dergelijke tools maakt implementaties moeiteloos en minder complex, waardoor datateams zich kunnen concentreren op het werken met de data in plaats van op het werken aan de data. De selectie van de juiste tool voor de opdracht blijft cruciaal voor de uitkomst van de analytics-stack en de adoptie van een dergelijk activatie platform in uw organisatie, zowel vanuit het gebruik als vanuit een leercurve-perspectief.

Onze voorkeur Tools

Bij i-spark verwelkomen we de evolutie van pure inzichten naar activatie gedreven data-analyses, omdat dit echte waarde creëert voor onze klanten op het gebied van e-commerce en content providers. Als pioniers op dit gebied van data-activatie bieden wij onze klanten al enkele jaren bruikbare data producten aan met behulp van de beste analysetools.

Onze voorkeur tools, die doorgaans het merendeel uitmaken van de samenstelbare data platforms die we leveren, vertegenwoordigen een mix van functionaliteit, schaalbaarheid en innovatie. Elk van deze tools is geselecteerd op basis van onze ervaring en zijn bewezen onderscheidende voordelen, de flexibiliteit om aan verschillende gebruiksscenario’s te voldoen en zijn pasvorm in het data-ecosysteem:

• Databricks – Databricks biedt een uniform platform dat opslag mogelijk maakt op basis van de lakehouse-principes, bestuurscontroles, collaboratieve data-engineering en data wetenschap. De integratie met andere tools zoals dbt Cloud maakt een naadloze gegevensstroom en transformatie mogelijk, die als ruggengraat dient voor geavanceerde analyse- en machine learning-projecten.
• Snowflake – Als cloudgebaseerde oplossing voor datawarehousing biedt Snowflake een zeer schaalbaar, prestatie-efficiënt platform voor het opslaan en opvragen van grote hoeveelheden gegevens. De unieke architectuur maakt het naadloos delen van gegevens en elastische schaling mogelijk, waardoor het een onmisbaar onderdeel is van veel data stacks.
• Google BigQuery – Aanvullend op de datawarehousing-oplossingen onderscheidt Google BigQuery zich als een serverloos, zeer schaalbaar en kosteneffectief datawarehouse. Het is geoptimaliseerd voor snelheid en gebruiksgemak. Het vermogen van BigQuery om enorme datasets razendsnel te verwerken, samen met de geïntegreerde machine learning-mogelijkheden, stimuleert analytische workflows en maakt toegankelijke data-analyse rechtstreeks binnen het datawarehouse mogelijk.
• Fivetran – Voor gegevens opname automatiseert Fivetran de verplaatsing van gegevens naar cloudgegevens platforms zoals Databricks of Snowflake, zodat de gegevens voortdurend worden bijgewerkt met de nieuwste informatie uit verschillende bronnen. Deze automatisering vereenvoudigt het data-integratieproces, waardoor ontwikkelingstijd wordt bespaard en gegevens sneller en effectiever kunnen worden verwerkt.
• Dataddo – Net als Fivetran maakt Dataddo flexibele integratie zonder code mogelijk. Het zorgt ervoor dat gegevens van verschillende SaaS-platforms en databases gemakkelijk toegankelijk zijn voor analyse, waardoor de veelzijdigheid van de analytics-stack wordt vergroot.
• Hightouch – Deze geavanceerde tool werkt op het snijvlak van datawarehousing en operationele systemen en speelt een belangrijke rol bij het activeren van uw gegevens voor bedrijfsactiviteiten. Hightouch maakt het verzamelen van gebeurtenisgegevens mogelijk, maar ook de synchronisatie van verwerkte gegevens terug naar SaaS-applicaties, waardoor datagestuurde besluitvorming op alle niveaus van de organisatie mogelijk wordt.
• dbt Cloud – In de kern van het dataplatform functioneert dbt Cloud als de transformatie laag binnen de data stack, waarbij ruwe data wordt omgezet in gestructureerde formaten die meteen gereed zijn voor analyse. Met deze tool kunnen analytics engineers en analisten zelf gegevens opschonen en voorbereiden, zonder dat daarvoor data engineers nodig zijn, vanuit verschillende opslagoplossingen. Het is essentieel voor het behoud van de data-integriteit en de gereedheid voor analyse, en zorgt ervoor dat inzichten gebaseerd zijn op betrouwbare, schone data.
• Looker – Voor datavisualisatie en business intelligence biedt Looker een krachtig platform voor het bouwen van dynamische dashboards en rapporten. Verbonden met databases in Snowflake of Databricks, stelt het gebruikers in staat gegevens op een intuïtieve, toegankelijke manier te verkennen en te visualiseren, waardoor inzichten worden omgezet in bruikbare informatie.
• Looker Studio (voorheen Google Data Studio) – Looker Studio staat bekend om zijn gebruiksgemak, naadloze integratie met het ecosysteem van Google (inclusief BigQuery) en de mogelijkheid om gegevens uit verschillende bronnen te combineren. Met deze lichtgewicht tool kunnen gebruikers informatieve, gemakkelijk te begrijpen visualisaties maken. Looker Studio helpt om snel inzichten te leveren, waardoor gegevens voor iedereen toegankelijk en bruikbaar worden.
• Klipfolio – Als aanvulling op de dashboard tools biedt Klipfolio extra flexibiliteit bij het maken van dashboards en rapporten. Wat Klipfolio onderscheidt, is het vermogen om verbinding te maken met vrijwel elke gegevensbron, van databases en cloudservices tot spreadsheets en online services, waardoor een holistisch beeld van de bedrijfsprestaties mogelijk wordt gemaakt. Dankzij de intuïtieve ontwerp interface kunnen gebruikers gedetailleerde, inzichtelijke visualisaties maken zonder dat daarvoor diepgaande technische expertise nodig is, waardoor deze toegankelijk is voor gebruikers op alle niveaus.

Voor alle duidelijkheid: een analytics stack bestaat niet uit al deze tools, maar is vaak een zorgvuldig gekozen selectie van tools uit deze lijst afgestemd op de eisen en wensen van de klant. Deze hebben vaak betrekking op de functionele en niet-functionele eisen en uiteraard op de beschikbare budgetten.

Ons gebruik van de termen Analytics Stack & Data Platform

Onze reis met bruikbare data begon jaren geleden, nog voordat de term ‘Modern Data Stack’ populair werd. En door de jaren heen hebben we verschillende termen gebruikt, van data stack tot datapack tot dataplatform tot composable, om deze moderne data platforms aan te duiden. Tegenwoordig zijn we de term Analytics Stack gaan gebruiken om het volledige pakket aan tools aan te duiden, van opname tot activatie, en om het belang van bruikbare analytics te benadrukken boven het hebben van data. Het dataplatform zelf is een essentieel onderdeel van de Analytics Stack en verwijst naar platforms zoals Databricks en Snowflake waar efficiënte dataopslag wordt gecombineerd met de mogelijkheden voor data/analyse-engineering samen met de schaalbaarheid van deze platforms.

De Toekomst van de “Modern” Data Stack

De evolutie van de moderne data stack naar de analytics stack betekent een verschuiving in het databeheer- en analyse landschap. Het weerspiegelt een diepere integratie van data-analyse in de zakelijke besluitvorming en, nog belangrijker, de activatie van data in operationele processen – een trend die een flexibele, inzicht gestuurde benadering van de constructie van data stacks vereist. Onze favoriete toolstack belichaamt deze filosofie en biedt een uitgebreide, flexibele oplossing die is ontworpen om de uitdagingen van de hedendaagse datagestuurde wereld het hoofd te bieden.

Door zorgvuldig tools te selecteren die niet alleen tegemoetkomen aan de huidige behoeften, maar ook kunnen worden aangepast aan toekomstige eisen, kunnen organisaties een data-infrastructuur bouwen die anticipeert op de evolutie van data-analyse. Terwijl het debat over terminologie voortduurt, blijft één ding duidelijk: de kracht van effectief gebruik van data is nog steeds een gamechanger voor bedrijven die willen groeien.