Databricks Developer

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/864w39

ADENTIS Italia è un gruppo europeo di consulenza ingegneristica e operativa facente parte del Gruppo MoOngy.
Se i requisiti e l'esperienza richiesti per questo lavoro corrispondono alle sue competenze, la preghiamo di candidarsi tempestivamente.
Presente in 14 paesi europei con oltre 9.000 dipendenti, abbiamo aperto, da quattro anni, la prima sede italiana a Milano e, vista la continua crescita, stiamo rafforzando e ampliando il nostro team con persone che condividano gli stessi valori della nostra società: AMBIZIONE, DINAMISMO e VOGLIA DI METTERSI IN GIOCO, il tutto in una realtà in continua evoluzione, nella quale le relazioni umane sono sempre al primo posto.
Siamo alla ricerca di un/una Data Engineer da inserire all'interno di un progetto di sviluppo di una piattaforma dati su Databricks, a supporto di un'notevole area di business internazionale.
La risorsa lavorerà alla realizzazione e gestione di una piattaforma dati che integra informazioni provenienti da USA e Brasile, con particolare riferimento al dominio contratti e prezzi.




Il progetto prevede l'utilizzo di un'architettura Medallion (Bronze/Silver/Gold), con l'obiettivo di trasformare dati provenienti da sorgenti eterogenee in informazioni strutturate e fruibili dal business.
Responsabilità
La risorsa si occuperà principalmente di:
- Sviluppo, gestione e manutenzione di data pipeline su Databricks.
- Implementazione di pipeline secondo architettura Medallion, gestendo i layer Bronze, Silver e Gold.
- Ingestion e integrazione di dati provenienti da sorgenti eterogenee, tra cui database SQL, Cloudera e file Excel.
- Trasformazione, pulizia e strutturazione dei dati attraverso i diversi layer della piattaforma.
- Implementazione di processi di data transformation e data integration tramite PySpark e Spark SQL.
- Analisi delle sorgenti dati (source/data discovery) per comprenderne struttura, natura, qualità e caratteristiche.
- Identificazione di eventuali anomalie, inconsistenze o problematiche qualitative

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/864w39