Azure Data Engineer

Over ons

Agap2 is een Europese IT- en Engineering Consultancy, actief in 14 landen met meer dan 9.500 medewerkers. Het bedrijf is opgericht in Portugal en sinds 2014 zijn wij gevestigd in Nederland met een kantoor in Amsterdam, van waaruit wij onze expertise aanbieden op de Nederlandse markt. Onze medewerkers worden gekenmerkt door de zogenaamde “Agapian spirit”, die samengevat wordt in vijf kernwoorden : familie, verbondenheid, vriendschap, teamgeest en leren.

Herken jij jezelf in wat ons definieert? Lees dan vooral verder!

De functie

Als Azure Data Engineer bij agap2 ga je aan de slag in een internationale omgeving met een lokale focus. Je krijgt de kans om aan diverse projecten te werken gedurende je loopbaan, afhankelijk van jouw ervaring en interesses. Projecten vinden plaats in uiteenlopende sectoren zoals bankwezen, fintech, telecom, retail, sport en gezondheidszorg.

Tijdens je werk bij Agap2 wordt verwacht dat je jouw kennis deelt, maar krijg je ook de kans om nieuwe technologieën te leren. Wij geloven dat kennisdeling de sleutel is tot persoonlijke ontwikkeling. Ons talent management programma is op maat gemaakt om jou te ondersteunen in je groei en om jouw carrière vorm te geven zoals jij dat wilt. Omdat wij met verschillende klanten werken, wordt van jou verwacht dat je je goed kunt aanpassen aan verschillende omgevingen.

Opdrachtomschrijving :

Data Services is in 2024 begonnen met de implementatie van een nieuwe datacatalogus en metadatamanagement oplossing. Hiervoor gebruiken we de nieuwste versie van Purview Data Governance Solutions (DGS). Afgelopen jaar hebben we met een klein team de oplossing geïnstalleerd, een aantal pilots uitgevoerd, en de juiste stakeholders gemobiliseerd. We zijn nu bezig de eerste databronnen, dataverwerkingssystemen en dataproducten te onboarden in de productieomgeving.

Wij zoeken een Azure Engineer die het beheer en de automatisering van onze datacatalogus naar een hoger niveau tilt en helpt bij het ontwikkelen van nieuwe functionaliteiten. Je helpt bij het integreren van onze dataopslag en verwerkingssystemen (zoals Fabric, Databricks, Synapse, ADLS2, SQL) met Purview. Je bouwt oplossingen met Python SDKs en Azure services om metadata in bulk te kunnen beheren. Daarnaast help je bij het onttrekken van de metadata uit de catalogus voor het opzetten van dashboards & alerting. Ook willen we de inzet van AI voor het automatisch genereren van beschrijvingen voor objecten in de catalogus onderzoeken.

Je werkt richting een visie waarin dataproducten zichzelf publiceren en beheren in een geautomatiseerde datacatalogus.

Jouw Rol als Azure Engineer omvat onder andere :

• Professionaliseren deployment : Helpen bij het verder aanscherpen van de deployment van Purview Data Governance, inclusief gerelateerde resources zoals private endpoints (deployment verloopt via Bicep / YAML / deployment stacks).
• API inzetten voor het professionaliseren en automatiseren van beheer : De API (Python SDK) inzetten voor het functionele beheer van de applicatie en het bulk beheer van metadata binnen de applicatie. Waar mogelijk meedenken, ontwerpen en bouwen aan het automatiseren van handmatige beheerstappen. We werken richting een self-service model waar gebruikers dit steeds meer zelf moeten doen.
• Dataopslag- en verwerkingssystemen aansluiten : Helpen bij het aansluiten van de datacatalogus op dataopslag- en verwerkingssystemen (Fabric, Synapse, Databricks, ADLS2, SQL) – hier bestaan standaard connectoren voor en hier hebben we ervaring mee.
• Dashboarding : Onttrekken van metadata uit de datacatalogus om hier dashboards op te bouwen die inzicht geven in de status van de inhoud (e.g. datasets zonder eigenaar).
• Automatisering & alerting : Automatisering / alerting op basis van Events in de datacatalogus (via EventHubs). Eventueel AI inzetten voor automatisch genereren van beschrijvingen van nieuwe assets.
• Documentatie : Bijhouden van implementatiestappen, procedures en best practices, zodat teams in de domeinen op termijn zelfstandig aan het werk kunnen.

Wat wij zoeken : Eisen (Vereist) :

Wensen (Pré's) :

Wat wij bieden

Is er ook ruimte voor plezier? Natuurlijk!

De combinatie van plezier en ontwikkeling is essentieel binnen ons team. Een kleine indruk : ons team bestaat uit meer dan 10 nationaliteiten, we spelen regelmatig padel en organiseren tech meetups, borrels en pubquizzen.

Bij agap2 staan we voor gelijkheid en waarderen we diversiteit. We creëren een veilige en inclusieve werkomgeving waarin gelijke kansen voor iedereen centraal staan. Alle kandidaten met de juiste vaardigheden voor deze functie zijn van harte welkom om zich bij ons aan te sluiten!