Databricks Developer

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/851ys2

ADENTIS Italia è un gruppo europeo di consulenza ingegneristica e operativa facente parte del Gruppo MoOngy.
Presente in 14 paesi europei con oltre 9.000 dipendenti, abbiamo aperto, da quattro anni, la prima sede italiana a Milano e, vista la continua crescita, stiamo rafforzando e ampliando il nostro team con persone che condividano gli stessi valori della nostra società: AMBIZIONE, DINAMISMO e VOGLIA DI METTERSI IN GIOCO, il tutto in una realtà in continua evoluzione, nella quale le relazioni umane sono sempre al primo posto.
Siamo alla ricerca di un/una Data Engineer da inserire all’interno di un progetto di sviluppo di una piattaforma dati su Databricks, a supporto di un'notevole area di business internazionale.
La risorsa lavorerà alla realizzazione e gestione di una piattaforma dati che integra informazioni provenienti da USA e Brasile, con particolare riferimento al dominio contratti e prezzi.
Il progetto prevede l'utilizzo di un'architettura Medallion (Bronze/Silver/Gold),



con l'obiettivo di trasformare dati provenienti da sorgenti eterogenee in informazioni strutturate e fruibili dal business.
Responsabilità
La risorsa si occuperà principalmente di:
- Sviluppo, gestione e manutenzione di data pipeline su Databricks.
- Implementazione di pipeline secondo architettura Medallion, gestendo i layer Bronze, Silver e Gold.
- Ingestion e integrazione di dati provenienti da sorgenti eterogenee, tra cui database SQL, Cloudera e file Excel.
- Trasformazione, pulizia e strutturazione dei dati attraverso i diversi layer della piattaforma.
- Implementazione di processi di data transformation e data integration tramite PySpark e Spark SQL.
- Analisi delle sorgenti dati (source/data discovery) per comprenderne struttura, natura, qualità e caratteristiche.
- Identificazione di eventuali anomalie, inconsistenze o problematiche qualitative presenti nei dati sorgente.
- Collaborazione con gli stakeholder tecnici e di business per comprendere i requisiti e rendere i dati disp

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/851ys2