De demo is gebaseerd op de Adventure Works-dataset. We hebben een master pipeline ontwikkeld, bestaande uit meerdere subpipelines. Deze subpipelines roepen op hun beurt onze Spark-notebooks aan, die de data opschonen, verrijken en in delta-tabellen gieten. Deze delta-tabellen kunnen vervolgens worden gebruikt in Power BI om de data te visualiseren.

Verder hebben we ook slowly changing dimensions type 1 & 2 toegepast om veranderingen in de data bij te houden.
Het eindresultaat is een complete pipeline die salesdata inleest, transformeert, opslaat en verwerkt tot een dashboard.