Senior Databricks Data Engineer

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/7bfk14

Senior Databricks Data Engineer Ai fini dell'ampliamento del nostro centro di competenza dedicato alla Data Engineering e all'Advanced Analytics, siamo alla ricerca di un/una Senior Databricks Data Engineer che operi come pilastro tecnico per la costruzione di architetture dati moderne. La risorsa garantirà la qualità dei processi di ingestione e trasformazione, promuovendo le best practice di sviluppo su ambienti Cloud (Azure/AWS/GCP) all'interno dei team di progetto. Sarai responsabile di progettare, sviluppare e implementare pipeline di dati scalabili e performanti, coordinando l'ottimizzazione dei carichi di lavoro in collaborazione con i Data Scientist e i Data Architect. In scenari complessi, guiderai il design dell'architettura Medallion (Bronze, Silver, Gold) e la gestione dei Delta Lake, risolvendo colli di bottiglia tecnici e garantendo la consegna di soluzioni robuste per il processamento di grandi volumi di dati (Batch e Streaming). Responsabilità * Sviluppo Pipeline ETL/ELT: Progettazione e implementazione di flussi di dati complessi utilizzando Apache Spark (PySpark, Spark SQL, Scala); * Gestione del Data Lakehouse: Ottimizzazione delle tabelle Delta Lake e implementazione di logiche di partizionamento e indexing per massimizzare le performance di lettura/scrittura; * Data Governance & Security: Configurazione della sicurezza e del controllo accessi ai dati tramite Unity Catalog, garantendo la conformità alle policy aziendali; * Collaborazione Agile: Cooperazione con i Data Scientist per l'integrazione di modelli di Machine Learning (MLflow)



e con i Power BI Developer per l'esposizione di set di dati ottimizzati (Gold Layer); * Automazione e Monitoraggio: Implementazione di workflow tramite Databricks Jobs, integrazione con strumenti di CI/CD e monitoraggio della qualità del dato (Data Quality checks). Competenze richieste * Apache Spark * Ecosistema Hadoop * Programmazione Scala e Python * Almeno 2 anni di esperienza su servizi e tecnologie del cloud Microsoft Azure, con competenze nella progettazione e gestione di architetture dati cloud-native. * Esperto nei processi di data ingestion sia batch che streaming, orientato alle performance e alla qualità del dato. Benefici Ti offriamo l'occasione di lavorare in un ambiente dinamico, su progetti nazionali ed internazionali, che ti permetta di approfondire continuamente le tue conoscenze e di sviluppare le tue competenze. Se vuoi dare una spinta alla tua carriera ed entrare a far parte di una società di servizi IT leader in Europa ed in continua crescita, inviaci il tuo curriculum! La sede di lavoro è ROMA con possibilità, compatibilmente con l'attività svolta, di aderire all'accordo di smart working secondo quanto previsto dalla nostra policy aziendale. È comunque richiesta la disponibilità a compiere trasferte sul territorio nazionale e internazionale. Informativa di pari opportunità Il presente annuncio è rivolto ad entrambi i sessi, ai sensi delle leggi ****** e ****** e a persone di tutte le età e tutte le nazionalità, ai sensi dei decreti legislativi ****** e ******. #J-*****-Ljbffr

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/7bfk14