AI DATA ENGINEER

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/7y8qz6

Overview In questa posizione, progetti e sviluppi pipeline di elaborazione dati su larga scala sfruttando Spark e Spark SQL, con focus su Azure Data Factory e pipeline end-to-end. Supporti l’ingegneria dei dati per dati strutturati e non strutturati e applichi tecniche ML per problemi reali in contesti come fashion, geospaziale e industriale. Lavori a stretto contatto con stakeholder di business per tradurre esigenze analitiche in soluzioni data-driven e presenti i risultati tramite report e dashboard. Un ruolo chiave in un’azienda tecnologica in crescita dove l’innovazione e le attività di MLOps garantiscono scalabilità e affidabilità.
Retribuzione / Benefits
- lavoro da remoto/ibrido
- formazione e aggiornamento tecnico continuo
- contratto a tempo indeterminato
- opportunità di crescita in azienda
- tipo di contratto indeterminato
- areas zona Bologna

Responsabilità
- Progettare e sviluppare pipeline di elaborazione dati su larga scala using Spark (Scala e Spark SQL)
- Ottimizzare processi di elaborazione distribuita (RDD, DataFrame, Spark SQL)




- Sviluppare UDF personalizzate per trasformazioni complesse
- Gestire architetture di data ingestion e data processing su Microsoft Azure (Azure Data Factory)
- Costruire pipeline end-to-end per dati strutturati e non strutturati
- Applicare ML (regressione, clustering, anomaly detection, forecasting) in diverse aree
- Supportare messa in produzione di modelli (MLOps) per scalabilità e affidabilità
- Collaborare con stakeholder di business per tradurre esigenze analitiche in soluzioni data-driven
- Realizzare report, dashboard e presentazioni per comunicare risultati a tecnici e business

Requisiti fondamentali
- Esperienza consolidata con Apache Spark (Scala, Spark SQL)
- Ottima conoscenza di Python e/o Scala
- Conoscenza di paradigmi di elaborazione distribuita (RDD, DataFrame, MapReduce)
- Esperienza su Microsoft Azure Data Platform, in particolare Azure Data Factory
- Capacità di progettare e gestire pipeline ETL e data

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/7y8qz6