Ken jij de basisstappen van het data management proces?

12 oktober 2023 | 2 minuten leestijd

Donderdag 12 oktober 2023 Als niet-technisch persoon kwam ik kortgeleden, via i-spark, in de wereld van data terecht. Gillend wegrennen was een optie geweest, maar ik koos ervoor om me er juist in te verdiepen. Nieuwe dingen leren is vooral leuk! En wat bleek? Ook wél-technische mensen hebben het niet allemaal duidelijk in beeld hoe het nu zit met de stappen binnen datamanagement. De basis dus. Ik heb het voor je in kaart gebracht.

Integration

Data moet ergens vandaan komen, dat snappen we allemaal. Databronnen bevatten gegevens die bijvoorbeeld verzameld zijn op een website of bijvoorbeeld uit een CRM-systeem, uit social media kanalen of een ERP systeem komen. Een Data Engineer heeft de taak om deze data op te halen uit de databronnen en door te sturen naar een opslagplek voor ruwe data. Deze opslagplek kan bijvoorbeeld een cloud data warehouse of cloud data lake zijn. Dit deel van datamanagement wordt ‘integration’ genoemd. Dit kan met behulp van verschillende programmeertalen zoals Python en Scala of via online tools zoals Dataddo en Fivetran.

Storage & Transformation

De opgehaalde data is op dit moment nog een wirwar van gegevens, waar de meeste mensen geen touw aan vast kunnen knopen. Ruwe data dus. De volgende stap is waar de Data Analist of Analytics Engineer om de hoek komt kijken. Tijdens de zogenaamde ‘transformation’ haalt hij of zij de ruwe data op uit de storage  en selecteert, combineert en transformeert  de benodigde ruwe data naar begrijpbare, verrijkte data en stuurt dit terug naar de cloud datawarehouse of data lake. Maar wel naar de specifieke ‘refined storage’ locatie. Zie een fysiek magazijn voor je waar je ook echt niet zou willen dat de goederen van verschillende leveranciers ongeorganiseerd tussen de te verzenden goederen terechtkomen. De Data Analist of Analytics Engineer kan dit met behulp van de online tool dbt Cloud doen.

Data consumer

En dan de laatste stap van het data-management proces voordat er concrete beslissingen kunnen worden genomen aan de hand van data. Een Data Analist of visualisatie specialist zorgt er namelijk voor dat de benodigde data uit de refined storage wordt opgehaald en overzichtelijk in een dashboard terechtkomt. Bijvoorbeeld in tools als Looker of Klipfolio. Het kan ook zijn dat de Data Analist of visualisatie specialist een analyse maakt aan de hand van een specifieke klantvraag. Vaak wordt de verrijkte data gebruikt om ook andere systemen te voeden met informatie, zoals bijvoorbeeld een e-mailpakket. Al deze systemen en mensen die gegevens consumeren uit de storage, noemen we ‘Data Consumers’. Een overload aan ruwe verzamelde data is op dit punt binnen het proces omgezet in feitelijke en betrouwbare input om prognoses en doelgerichte beslissingen mee te kunnen maken.

Jouw data proces via i-spark laten verlopen?

Het lijkt op deze manier best simpel, de route die jouw data moet afleggen voordat jij het kan gebruiken. Maar het is niet voor niets dat Data Engineers, Analytics Engineers en Data Analisten hier een paar jaar voor studeren. Het blijft een technisch proces met ontzettend veel mogelijkheden die zeer nauwkeurig doorlopen moeten worden. Bij i-spark hebben we gelukkig al deze technische knappe koppen beschikbaar onder één dak en kunnen wij dit proces van A tot Z voor je uit handen nemen. Dit doen wij al vele jaren, voor grote en kleine commerciële bedrijven. Meer weten? Neem gerust contact op via e-mailadres: hallo@i-spark.nl of bel: +31(0)594 855888  Door: Esther Dijkstra, Marketing- en Communicatie i-Spark