Data Engineer ambito Big Data

06 ago - Bari
Esprimo S. R. L.

ESPRIMO Srl, società di consulenza informatica che opera dal 2002 su tutto il territorio nazionale ed internazionale, a supporto delle imprese, si colloca nel settore dell’Information Technology proponendosi come obiettivo quello di fornire una vasta gamma di prodotti, servizi e soluzioni nelle aree più strategiche per l’impresa, come: Infrastrutture IT, Content Management, ERP, Business Intelligence, CRM, Web Applications, è alla ricerca di un:

Data Engineer ambito Big Data con almeno 3 anni di esperienza

Responsabilità:

- Sviluppare e mantenere pipeline di ingestion CDC dai database sorgente verso il layer Bronze, tramite connettori Debezium/Confluent, garantendo zero data loss ed extract-once.
- Realizzare ed evolvere i flussi di elaborazione tra i layer Bronze → Silver → Gold con Apache Spark/Spark Streaming in Python (PySpark) e con Apache NiFi (processori e script Groovy).
- Gestire le tabelle in formato Apache Iceberg su storage Ozone, incluse evoluzioni di schema (DDL) e ottimizzazioni.




- Configurare e gestire topic Kafka, offset e code di dead-letter (DLQ): analisi, reprocessing e alerting sui messaggi in errore.
- Implementare monitoraggio, alerting e tuning delle pipeline (salute dei flussi, latenza, volumi, soglie).
- Applicare gli standard di progetto: naming convention, tracciabilità, data lineage, accessi e visibilità sui data tier.
- Contribuire alle attività di testing, versionamento e pipeline CI, oltre alla documentazione tecnica.
- Supportare le fasi di migrazione dei flussi attraverso gli ambienti (Test → Collaudo → Produzione

Competenze tecniche:

- Esperienza nello sviluppo di pipeline di Data Engineering.
- Conoscenza delle architetture Data Lake e Lakehouse.
- Esperienza con paradigmi di Change Data Capture (CDC) e gestione di flussi dati in tempo reale.
- Conoscenza di Apache Spark per l'elaborazione dist

Analista di processo SAP

09 ago - Stazione Provaglio-timoline
Altro

AMS Verification & Modeling Engineer

09 ago - Vercelli
agap2 Italia

Ricevi nuove offerte di lavoro

Crea una Job Alert gratuita per data engineer ambito big data / bari

Analista Funzionale

09 ago - Piemonte
Avangarde Consulting

Analista Chimico

09 ago - Latina
agap2 Italia