Maak gebruik van een van onze zeer ervaren Analytics Engineers! i-spark helpt jullie organisatie graag.

neem contact op

Analytics Engineering

De wereld van data staat nooit stil. Voor het ontsluiten van data en het rapporteren van inzichten uit die data zijn inmiddels legio (online) tools beschikbaar. De tussenstap tussen ontsluiten en rapporteren – het opschonen, samenvoegen en bewerken van ontsloten data – was tot voor kort het domein van Data Engineers of Data Scientists

Ook voor deze taken zijn allerlei (online) tools ontwikkeld. Daarom is een nieuwe rol in het data team ontstaan: de Analytics Engineer. De Analytics Engineer gebruikt een combinatie van tools en data analyse skills om de ruwe data, beschikbaar gemaakt door Data Engineers, te transformeren naar bruikbare data waar de Data Analist mee aan de slag kan.

Door het inladen van ruwe data in de database en die daarna bruikbaar te maken, versnellen en versimpelen de Analytics Engineers van i-spark het omwerken van ruwe data naar bruikbare inzichten.

neem contact op

Analytics Engineer

Van Ruwe data Naar bruikbare inzichten

Snelle verbinding tussen business en engineering

De rol van Analytics Engineer combineert tools en data-analysevaardigheden om ruwe data, verstrekt door Data Engineers, om te zetten in bruikbare data voor Data Analisten. Bij i-spark versnellen en vereenvoudigen Analytics Engineers de omzetting van ruwe data naar bruikbare inzichten door deze in de database te laden en gebruiksklaar te maken.

less meer over ons

Analytics Engineering slaat een brug

Van oudsher zorgt de Data Engineer voor het bruikbaar maken van data. Met hulp van programmeertalen als Python, Spark of Scala schoont de engineer de data op, ordent die en laadt ze vervolgens in de database. Een ingewikkelde en tijdrovende klus die specialistische technische kennis vraagt. In vaktermen heet dit proces ETL, oftewel Extract, Transform and Load

Maar… welke data bruikbaar is, bepaalt niet de Data Engineer. Dat is het domein van de Data Analist, die oog heeft voor de KPI’s van de business. Tussen deze twee functies zit dus een kenniskloof: de Analist weet te weinig van het ETL-proces en de engineer weet te weinig van de toepassing waarvoor de data bedoeld is.  

Nu zou je denken dat BI-tools gemaakt zijn om de kloof te overbruggen, maar… die zijn niet gemaakt voor het transformeren van grote hoeveelheden data, waardoor ze enorm vertragen. Dat is niet handig als je wilt sturen op realtime inzichten. En bovendien stoppen BI-tools alle transformaties in hun rapportagetools waardoor het later erg lastig wordt om nog van BI-tool te wisselen.

Gelukkig zijn er nieuwe tools ontwikkeld die de brug slaan tussen Data Engineering en Data Analytics. En met die tools gaat de Analytics Engineering van i-spark voortvarend aan de slag. Het proces verandert van ETL naar ELT. Dat leggen we even uit.

 

Van ETL naar ELT versnelt het proces

Het opschonen, samenvoegen en bewerken van data kan nu makkelijker en sneller, dankzij de ontwikkeling van analytics engineering tools. Ruwe data uit verschillende bronnen worden meteen in de database geladen, dus hoeven ze niet eerst getransformeerd te worden. Die transformatie van je data vindt in de database plaats, gewoon met SQL, dus kennis van andere programmeertalen is niet meer nodig. Het ETL-proces is een ELT-proces geworden: Extract, Load and Transform. Dat scheelt tijd en energie, en levert snellere rapportages bij grote hoeveelheden data.. 

 

dbt, dé analytics engineering tool

De Analytics Engineering tool waar we graag mee werken en aanbevelen, is dbt (jawel, met kleine letters). In dbt kunnen Analytics Engineers met SQL aan de slag om de data geschikt te maken voor inzichten in BI-tools. En mocht je later nog van BI-tool willen wisselen? Geen probleem, want al je data blijft gewoon binnen de database. Zonder gedoe stap je daarmee over naar een andere rapportagetool.

i-spark is helemaal om, jij ook?

Mis je ook de schakel tussen je business en engineering, maar twijfel je nog of Analytics Engineering een oplossing voor je is? Samen met jou kijken we naar de mogelijkheden die er zijn. Bij i-spark zijn wij inmiddels overtuigd van het voordeel, zelfs de Data Engineers! Wil je meer weten over analytics engineering en wat dbt voor jouw bedrijf kan betekenen? Aarzel niet en neem vrijblijvend contact met ons op.


Bel ons via 0594 85 58 88 of stuur ons een mail