Data Engineer Ambito Big Data

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/79nyzd

pESPRIMO Srl, società di consulenza informatica che opera dal **** su tutto il territorio nazionale ed internazionale, a supporto delle imprese, si colloca nel settore dell'Information Technology proponendosi come obiettivo quello di fornire una vasta gamma di prodotti, servizi e soluzioni nelle aree più strategiche per l'impresa, come: Infrastrutture IT, Content Management, ERP, Business Intelligence, CRM, Web Applications, è alla ricerca di un: /ppbr / /ppbr / /ppstrongData Engineer ambito Big Data con almeno 3 anni di esperienza /strong /ppbr / /ppemResponsabilità: /em /pulliSviluppare e mantenere pipeline di ingestion CDC dai database sorgente verso il layer Bronze, tramite connettori Debezium/Confluent, garantendo zero data loss ed extract-once.
/liliRealizzare ed evolvere i flussi di elaborazione tra i layer Bronze ? Silver ? Gold con Apache Spark/Spark Streaming in Python (PySpark) e con Apache NiFi (processori e script Groovy).
/liliGestire le tabelle in formato Apache Iceberg su storage Ozone, incluse evoluzioni di schema (DDL) e ottimizzazioni.
/liliConfigurare e gestire topic Kafka, offset e code di dead-letter (DLQ): analisi, reprocessing e alerting sui messaggi in errore.
/liliImplementare monitoraggio, alerting e tuning delle pipeline (salute dei flussi, latenza, volumi, soglie).
/liliApplicare gli standard di progetto: naming convention, tracciabilità, data lineage, accessi e visibilità sui data tier.
/liliContribuire alle attività di testing, versionamento e pipeline CI, oltre alla documentazione tecnica.
/liliSupportare le fasi di migrazione dei flussi attraverso gli ambienti (Test ? Collaudo ? Produzione /li /ulpbr / /ppemCompetenze tecniche:



/em /pulliEsperienza nello sviluppo di pipeline di Data Engineering.
/liliConoscenza delle architetture Data Lake e Lakehouse.
/liliEsperienza con paradigmi di Change Data Capture (CDC) e gestione di flussi dati in tempo reale.
/liliConoscenza di Apache Spark per l'elaborazione distribuita dei dati.
/liliEsperienza con Apache Kafka e architetture event-driven.
/liliConoscenza di Apache NiFi per l'orchestrazione dei flussi dati.
/liliEsperienza con formati tabellari per Data Lake, preferibilmente Apache Iceberg.
/liliConoscenza di piattaforme Big Data, preferibilmente Cloudera Data Platform (CDP).
/liliBuona conoscenza di SQL e dei principali database relazionali.
/liliConoscenza dei principi di Data Quality, Data Governance e monitoraggio delle pipeline.
/liliFamiliarità con strumenti di versionamento del codice (Git) e pratiche di sviluppo cooperativo.
/liliCapacità di analisi, problem solving e lavoro in team.
/li /ulpbr / /ppstrongSede operativa: Bari (in sede 5gg a settimana) /strong /ppstrongemRetribuzione indicativa: RAL € ************* /em /strong /ppbr / /ppbr / /ppSi offre un inserimento in un contesto stimolante e innovativo, con grandi prospettive di crescita professionale e una retribuzione commisurata all'esperienza.
/ppSi richiede l'invio di Curricula rispondenti al profilo della posizione aperta, verranno presi in considerazione solo quelli effettivamente in possesso dei requisiti sopraindicati.
/ppLa ricerca è rivolta ad entrambi i sessi (L.******).
/ppInviare dettagliato curriculum vitae, con l'autorizzazione al trattamento dei dati personali secondo la Legge ********.
/p

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/79nyzd