Data Engineer

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/7cyl77

CHI SIAMO

AGAP2 è un gruppo europeo di consulenza ingegneristica e operativa facente parte del Gruppo MoOngy.

Presente in 14 paesi europei con oltre 7.500 dipendenti, abbiamo aperto la prima sede italiana a Milano e, vista la continua crescita, stiamo rafforzando e ampliando il nostro team con persone che condividano gli stessi valori della nostra società: AMBIZIONE, SORRISO, DINAMISMO, VOGLIA DI METTERSI IN GIOCO, il tutto in una realtà in continua evoluzione, nella quale le relazioni umane sono sempre al primo posto.

Responsabilità principali:
- Sviluppare e mantenere pipeline di ingestion CDC dai database sorgente verso il layer Bronze, tramite connettori Debezium / Confluent, garantendo zero data loss ed extract-once.
- Realizzare ed evolvere i flussi di elaborazione tra i layer Bronze → Silver → Gold con Apache Spark / Spark Streaming in Python (PySpark) e con Apache NiFi (processori e script Groovy).
- Gestire le tabelle in formato Apache Iceberg su storage Ozone, incluse evoluzioni di schema (DDL) e ottimizzazioni.
- Configurare e gestire topic Kafka,



offset e code di dead-letter (DLQ): analisi, reprocessing e alerting sui messaggi in errore.
- Implementare monitoraggio, alerting e tuning delle pipeline (salute dei flussi, latenza, volumi, soglie).
- Applicare gli standard di progetto: naming convention, tracciabilità, data lineage, accessi e visibilità sui data tier.
- Contribuire alle attività di testing, versionamento e pipeline CI, oltre alla documentazione tecnica.
- Supportare le fasi di migrazione dei flussi attraverso gli ambienti (Test → Collaudo → Produzione).

Competenze tecniche richieste
- Esperienza nello sviluppo di pipeline di Data Engineering.
- Conoscenza delle architetture Data Lake e Lakehouse.
- Esperienza con paradigmi di Change Data Capture (CDC) e gestione di flussi dati in tempo reale.
- Conoscenza di Apache Spark per l'elaborazione distribuita dei dati.
- Esperienza con Apache Kafka e architetture event-driven.
- Conoscenza di Apa

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/7cyl77