Data Engineer ambito Big Data

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/79lxzi

ESPRIMO Srl, società di consulenza informatica che opera dal 2002 su tutto il territorio nazionale ed internazionale, a supporto delle imprese, si colloca nel settore dell’Information Technology proponendosi come obiettivo quello di fornire una vasta gamma di prodotti, servizi e soluzioni nelle aree più strategiche per l’impresa, come: Infrastrutture IT, Content Management, ERP, Business Intelligence, CRM, Web Applications, è alla ricerca di un: Data Engineer ambito Big Data con almeno 3 anni di esperienza Responsabilità: * Sviluppare e mantenere pipeline di ingestion CDC dai database sorgente verso il layer Bronze, tramite connettori Debezium/Confluent, garantendo zero data loss ed extract-once. * Realizzare ed evolvere i flussi di elaborazione tra i layer Bronze → Silver → Gold con Apache Spark/Spark Streaming in Python (PySpark) e con Apache NiFi (processori e script Groovy). * Gestire le tabelle in formato Apache Iceberg su storage Ozone, incluse evoluzioni di schema (DDL) e ottimizzazioni. * Configurare e gestire topic Kafka, offset e code di dead-letter (DLQ): analisi, reprocessing e alerting sui messaggi in errore. * Implementare monitoraggio, alerting e tuning delle pipeline (salute dei flussi, latenza, volumi, soglie). * Applicare gli standard di progetto: naming convention, tracciabilità, data lineage, accessi e visibilità sui data tier. * Contribuire alle attività di testing, versionamento e pipeline CI, oltre alla documentazione tecnica.



* Supportare le fasi di migrazione dei flussi attraverso gli ambienti (Test → Collaudo → Produzione Competenze tecniche: * Esperienza nello sviluppo di pipeline di Data Engineering. * Conoscenza delle architetture Data Lake e Lakehouse. * Esperienza con paradigmi di Change Data Capture (CDC) e gestione di flussi dati in tempo reale. * Conoscenza di Apache Spark per lelaborazione distribuita dei dati. * Esperienza con Apache Kafka e architetture event-driven. * Conoscenza di Apache NiFi per lorchestrazione dei flussi dati. * Esperienza con formati tabellari per Data Lake, preferibilmente Apache Iceberg. * Conoscenza di piattaforme Big Data, preferibilmente Cloudera Data Platform (CDP). * Buona conoscenza di SQL e dei principali database relazionali. * Conoscenza dei principi di Data Quality, Data Governance e monitoraggio delle pipeline. * Familiarità con strumenti di versionamento del codice (Git) e pratiche di sviluppo collaborativo. * Capacità di analisi, problem solving e lavoro in team. Sede operativa: Bari (in sede 5gg a settimana) Retribuzione indicativa: RAL € 32.000/35.000 Si offre un inserimento in un contesto stimolante e innovativo, con grandi prospettive di crescita competente e una retribuzione commisurata allesperienza. Si richiede l’invio di Curricula rispondenti al profilo della posizione aperta, verranno presi in considerazione solo quelli effettivamente in possesso dei requisiti sopraindicati. La ricerca è rivolta ad entrambi i sessi (L.903/77). Inviare dettagliato curriculum vitae, con l’autorizzazione al trattamento dei dati personali secondo la Legge 196/2003.

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/79lxzi