Laat ons zien hoe jij werkt.
Je werkt in een Databricks-omgeving met ruwe transactiedata van klanten, opgeslagen in een Delta-tabel. De dataset bevat duplicaten, ontbrekende waarden en records die vertraagd binnenkomen.
Beschrijf kort hoe jij een productiewaardige datapipeline zou ontwerpen die:
* de data valideert en opschoont;
* duplicaten en laat binnenkomende data correct verwerkt;
* gebruikmaakt van Delta Lake;
* veilig opnieuw uitgevoerd kan worden zonder ongewenste dubbele verwerking;
* monitoring en foutafhandeling bevat;
* via CI/CD wordt getest en uitgerold.
Voeg daarnaast een klein voorbeeld in PySpark of SQL toe waarin je één belangrijk onderdeel van je oplossing laat zien.
Lever je antwoord in als PDF van maximaal 2 pagina’s.
We zoeken geen gelikte presentatie. We willen vooral zien hoe jij zelf technisch redeneert, keuzes maakt en Databricks in de praktijk toepast.
Belangrijk: deze opdracht en onze verdere communicatie zijn in het Nederlands. Voor deze functie is een uitstekende beheersing van de Nederlandse taal vereist.
{{ formData.assignment }}
geen antwoord