Databricks Developer

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/885t59

ADENTIS Italia è un gruppo europeo di consulenza ingegneristica e operativa facente parte del Gruppo MoOngy.
Presente in 14 paesi europei con oltre 9.000 dipendenti, abbiamo aperto, da quattro anni, la prima sede italiana a Milano e, vista la continua crescita, stiamo rafforzando e ampliando il nostro team con persone che condividano gli stessi valori della nostra società: AMBIZIONE, DINAMISMO e VOGLIA DI METTERSI IN GIOCO , il tutto in una realtà in continua evoluzione, nella quale le relazioni umane sono sempre al primo posto.
Siamo alla ricerca di un/una Data Engineer da inserire all'interno di un progetto di sviluppo di una piattaforma dati su Databricks , a supporto di un'notevole area di business internazionale.
La risorsa lavorerà alla realizzazione e gestione di una piattaforma dati che integra informazioni provenienti da USA e Brasile , con particolare riferimento al dominio contratti e prezzi .
Il progetto prevede l'utilizzo di un'architettura Medallion (Bronze/Silver/Gold) ,



con l'obiettivo di trasformare dati provenienti da sorgenti eterogenee in informazioni strutturate e fruibili dal business.
Responsabilità La risorsa si occuperà principalmente di:
Sviluppo, gestione e manutenzione di data pipeline su Databricks .
Implementazione di pipeline secondo architettura Medallion , gestendo i layer Bronze, Silver e Gold.
Ingestion e integrazione di dati provenienti da sorgenti eterogenee, tra cui database SQL, Cloudera e file Excel .
Trasformazione, pulizia e strutturazione dei dati attraverso i diversi layer della piattaforma.
Implementazione di processi di data transformation e data integration tramite PySpark e Spark SQL.
Analisi delle sorgenti dati ( source/data discovery ) per comprenderne struttura, natura, qualità e caratteristiche.
Identificazione di eventuali anomalie, inconsistenze o problematiche qualitative presenti nei dati sorgente.
Collaborazione con gli stakeholder tecnici e di business per comprendere i requisiti e rendere i dati disponibil

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/885t59