Data engineer

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/7fdh0f

Italia, Lazio, Bari, Informatica, Informatica/Tecnologia
Luogo di lavoro:
Luogo di lavoro: Italia , Lazio , Bari
Settore:
Data ultimo aggiornamento:
attività Stampa Dillo a un amico
Descrizione annuncio
Verifica la tua compatibilità con questo annuncio
Cerchiamo un Data Engineer da inserire nel team che sta realizzando TIDE (Trasferimento Infrastrutturale Dati ed Eventi): una piattaforma infrastrutturale di raccolta e propagazione, in tempo reale e "certificabile", degli eventi di variazione dati provenienti dai database operazionali aziendali.
La soluzione si basa su un paradigma di Change Data Capture (CDC) e su un'architettura Lakehouse Medallion (Bronze / Silver / Gold) costruita su tecnologie enterprise: Confluent Kafka, Cloudera Data Platform, Apache Iceberg, Apache Spark, Apache NiFi. È un progetto in resistente crescita, con roadmap pluriennale, che alimenta servizi di business come la Centrale Eventi e casi d'uso di analytics avanzato.
Entrerai in un team strutturato, dove i profili senior definiscono architettura e standard: il tuo compito sarà implementare,



far evolvere e mantenere robusti i flussi dati, con reale possibilità di crescere sui temi di streaming, governance e data quality.
Sviluppare e mantenere pipeline di ingestion CDC dai database sorgente verso il layer Bronze, tramite connettori Debezium / Confluent , garantendo zero data loss ed extract-once.
Realizzare ed evolvere i flussi di elaborazione tra i layer Bronze → Silver → Gold con Apache Spark / Spark Streaming in Python (PySpark) e con Apache NiFi (processori e script Groovy ).
Gestire le tabelle in formato Apache Iceberg su storage Ozone , incluse evoluzioni di schema (DDL) e ottimizzazioni.
Configurare e gestire topic Kafka , offset e code di dead-letter ( DLQ ): analisi, reprocessing e alerting sui messaggi in errore.
Implementare monitoraggio, alerting e tuning delle pipeline (salute dei flussi, latenza, volumi, soglie).
Applicare gli standard di progetto : naming convention, tracciabilit

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/7fdh0f