Data engineer

De kandidaat gaat verschillende datateams bij gemeente Amsterdam helpen met het migreren van hun bestaande datapipelines naar Databricks op het Azure-platform. Dit doet de kandidaat door mee te werken, te adviseren en mee te denken met de teamleden. De huidige datapipelines zijn gemaakt op basis van PostgreSQL queries en functies. Als datateams ontsluiten we niet alleen maar data, een groot deel van ons werk is ook het koppelen van data en het maken van (complexe) afleidingen. Een simpel voorbeeld hiervan is dat we vastgoed en gebiedsdata ontsluiten, we koppelen de vastgoed data aan de gebiedsinformatie, zodat we weten in welke buurt de vastgoed-objecten liggen. Daarna leiden we af welke vastgoed-objecten een woning zijn en maken we statistieken over de hoeveelheid woningen per buurt.

Werkzaamheden
In het kort omvatten de werkzaamheden het meewerken met de datateams en meedenken en adviseren over hoe we van onze huidige werkwijze naar een geoptimaliseerd en efficiënt data verwerkings- en verrijkingsproces in Databricks komen. Hieronder valt ook het deployen van ontwikkelomgeving naar productie.

Doelstellingen van de opdracht De kandidaat helpt de teams met:
Opdracht Resultaat Coachen en kennis overdragen naar de teamleden Teamleden kunnen na afloop van de opdracht zelfstandig bestaande pipelines migreren.

Het najagen van kennisdelen en use case uitwerkingen om tot best practices te komen gedurende de migraties van datawarehouses en cloudVPS naar azure dataplatform Organiseren van minimaal 3 events Het omschrijven van bestaande datapipelines naar geautomatiseerde datapipelines in Databricks in de Cloud.

Bestaande code is gemigreerd naar Azure omgeving (Databricks/Azure Devops/Azure blob storage) Je controleert of de resultaten van een gemigreerde datapipeline exact dezelfde resultaat opleveren als in de oude omgeving.

Gemigreerde code is nauwkeurig gecontroleerd op onjuistheden.

Meedenken en adviseren over hoe we van onze huidige werkwijze naar een geoptimaliseerd en efficiënt data verwerkings[1]Geoptimaliseerde data pipelines in Databricks en verrijkingsproces in Databricks en Azure komen.

Je geeft advies en denkt mee over hoe we onze data pipelines met behulp van Git kunnen deployen in productie.

Een goed systeem om te kunnen deployen van ontwikkel omgeving naar productie omgeving.

Actief samenwerken met de overige datateamleden door tijdens het werk jouw kennis over te dragen, onder andere door feedback te geven op code van collega’s.

Teamleden kunnen met vragen terecht bij de kandidaat en kunnen door ondersteuning betere pipelines bouwen en code schrijven.

Het integreren en modelleren van data conform richtlijnen en standaarden van de data office en conform architectuur principes. De pipelines hebben een goede architectuur waar we op voort kunnen bouwen.

Gemeentelijke organisatie
De gemeentelijke organisatie bestaat uit 5 clusters, een bestuurs- en concernstaf, 7 stadsdelen en 1 stadsgebied. De stadsdelen besturen samen met de gemeenteraad, burgemeester en wethouders de stad Amsterdam. De 5 clusters zijn: Ruimte en Economie, Sociaal, Stadbeheer, Bedrijfsvoering, Digitalisering, Innovatie en Informatie. De clusters hebben expertise op een specifiek terrein, zoals sport, jeugd of parkeren. Zij werken beleid uit tot stadsbrede kaders waarbinnen de stadsdelen het uitvoerende werk kunnen doen. Ook bieden zij directe ondersteuning aan bewoners die dit nodig hebben, bijvoorbeeld op het gebied van participatie of werk. De stadsdelen houden zich onder andere bezig met de inrichting van straten en pleinen, groen en parken en welzijnswerk in de buurt. Ze zorgen ervoor dat wat ze doen, past bij de behoeften in hun stadsdeel en bij het beleid voor de hele stad. Meer informatie over de gemeentelijke organisatie is te vinden op: https://www.amsterdam.nl/.

De opdrachtgever(s)
Digitalisering bij gemeente Amsterdam

Bewoners, ondernemers en bezoekers van de stad Amsterdam verwachten een optimaal functionerende stad die aansluit bij de digitale toekomst. Dat betekent dat wij als gemeente moeten blijven innoveren om een steeds sneller transformerende stad gepast te kunnen blijven coördineren en bedienen. Daarom digitaliseert het i-domein, het IT, Innovatie & Data onderdeel van gemeente Amsterdam, de dienstverlening aan de stad in rap tempo. Zodat we een voorbeeldfunctie kunnen uitdragen in het op een veilige, verantwoorde en toekomstbestendige manier omgaan met technologie en informatie voor en in onze stad. Door een vooruitziende blik en inrichting van diensten, vormt de gemeente Amsterdam daarnaast een optimaal solide entiteit die bestand is tegen een toenemende dreiging van buitenaf voor ons digitale netwerk. Digitaliseren betekent hoofdzakelijk dat we fors investeren komende jaren in de hiervoor benodigde kennis en competenties van onze medewerkers, dat we gemeentebrede omscholingstrajecten voor banen van de toekomst organiseren en dat agile werken de norm is in het IT, Innovatie & Data onderdeel. Als jij voor gemeente Amsterdam als werkgever kiest kom je dus terecht in een digitaal zo optimaal mogelijk ingericht organisatieonderdeel, waarin de interne organisatie zo efficiënt mogelijk is ingericht. Werken bij gemeente Amsterdam betekent daardoor leren en kennis delen in een vooruitstrevende organisatie die de digitale maatschappij van nu en in de toekomst succesvol bedient.

De directie data & de vakgroep data engineering
De directie Data is verantwoordelijk voor het centraal ontsluiten, koppelen en leveren van gegevens. De vakgroep Data engineering bestaat uit 45 data engineers die dagelijks werken aan het verhogen van de beschik- en betrouwbaarheid van data, met de hoogst mogelijke kwaliteit.

Eisen

• Eis - Beheersing competenties
  Beheerst de kandidaat de competenties op de bijbehorende niveaus zoals hieronder genoemd.


• Eis - CV toevoegen
  U voegt het cv toe van de kandidaat. Het cv is opgesteld in het Nederlands en is maximaal 5 A4 groot.
  Als een cv meer dan 5 A4 omvat worden alleen de eerste 5 A4 meegenomen in de beoordeling.
  Het cv dient enkel en alleen ter verificatie van de bij de eisen en wensen gegeven antwoorden. Als het cv niet overeenkomt met de door u gegeven antwoorden kan de gemeente Amsterdam besluiten uw offerte af te wijzen.


• Eis - DraaideurconstructieDe aangeboden kandidaat heeft in de afgelopen 2 jaar een ambtelijke aanstelling gehad bij de gemeente Amsterdam.


• Eis - Opleiding
  De aangeboden kandidaat is in het bezit van een erkende hbo/wo diploma.Dit dient duidelijk te blijken uit het cv.
  
  Let op! De kandidaat moet het document meenemen naar het interview zodat de opdrachtgever kan controleren of deze voldoet. Indien het document niet aanwezig is of niet voldoet wordt het gesprek beëindigd en de offerte ter zijde gelegd.


• Eis - Toevoegen motivatie
  Geef in maximaal 1 A4 aan waarom uw kandidaat de meest geschikte is voor deze opdracht.Uw motivatie zal worden besproken tijdens het interview, indien de kandidaat hiervoor wordt uitgenodigd.


• Eis - Werk- en denkniveau
  De aangeboden kandidaat beschikt minimaal over een WO werk- en denkniveau.Dit dient duidelijk te blijken uit het cv.


• Eis - Werkervaring
  De aangeboden kandidaat beschikt over minimaal 4 jaar werkervaring, die is opgedaan in complexe IT omgevingen en beschikt over recente werkervaring als data engineer en backend software engineer in een grotere, complexe data georiënteerde omgeving.Dit dient duidelijk te blijken uit het cv.


• Eis - Werkervaring
  De aangeboden kandidaat heeft ervaring in optimalisatie van DevOps processen.Dit dient duidelijk te blijken uit het cv.


• Eis - Werkervaring
  De aangeboden kandidaat heeft ervaring met SQL, Python, CI/CD, PySpark, Kubernetes, Git.Dit dient duidelijk te blijken uit het cv.


• Eis - Werkervaring
  De aangeboden kandidaat heeft ervaring met data architectuur en data modellering.Dit dient duidelijk te blijken uit het cv.


• Eis – Opdracht onder leiding en toezichtDe aangeboden kandidaat van Inschrijver is op het moment van Inschrijving voor de Opdracht en gedurende het uitvoeren van de Opdracht voor minimaal het aantal gestelde uren en looptijd van de Opdracht in loondienst van de Inschrijver.
  
  Bij het uitbrengen van het voorgenomen gunningsbesluit wordt de winnende Inschrijver gevraagd een bewijs (kopie arbeidsovereenkomst en loonstrook) aan te leveren waaruit blijkt dat aangeboden kandidaat van Inschrijver op het moment van inschrijven voor de Opdracht in loondienst is van Inschrijver.


• ReferentieU dient minimaal 1 relevante referentie op te geven van de aangeboden kandidaat.
  Vul in:
  
  organisatie
  naam contactpersoon
  telefoonnummer contactpersoon.
  
  Na afstemming met kandidaat en na het gesprek kan de opdrachtgever besluiten om in contact te treden met de referentie.
  
  Let op: de referentie dient op de hoogte te zijn

Wensen

• Toetsing van de competentie:
  Coachen: Expert


• Toetsing van de competentie:
  Omgevingsbewustzijn: Expert


• Toetsing van de competentie:
  Overtuigingskracht: Expert


• Toetsing van de competentie:
  Relatiebeheer: Expert


• Toetsing van de competentie:
  Samenwerken: Expert


• Wens - Werkervaring
  De aangeboden kandidaat beschikt over ervaring met het coördineren van data events.Dit dient duidelijk te blijken uit het cv.


• Wens - Werkervaring
  De aangeboden kandidaat beschikt over ervaring met het opzetten van een testomgeving.Dit dient duidelijk te blijken uit het cv.


• Wens - Werkervaring
  De aangeboden kandidaat beschikt over ervaring met het opzetten van CI/CD en deployment processen.Dit dient duidelijk te blijken uit het cv.

Nadat je hebt gesolliciteerd, neemt onze contactpersoon binnen 2 uur contact met je op om samen te kijken of er een match is. Heb je nog vragen? Wij hanteren een persoonlijke aanpak. Laat je gegevens achter via de "Direct solliciteren" button en wij lichten de opdracht graag persoonlijk aan je toe.   We helpen je graag verder!