Data Engineer Ambito Big Data

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/79pphb

ESPRIMO Srl, società di consulenza informatica che opera dal **** su tutto il territorio nazionale ed internazionale, a supporto delle imprese, si colloca nel settore dell'Information Technology proponendosi come obiettivo quello di fornire una vasta gamma di prodotti, servizi e soluzioni nelle aree più strategiche per l'impresa, come: Infrastrutture IT, Content Management, ERP, Business Intelligence, CRM, Web Applications, è alla ricerca di un:
Per essere preso/a in considerazione per un colloquio, la preghiamo di assicurarsi che la sua candidatura sia pienamente in linea con le specifiche del lavoro riportate di seguito.
Data Engineer ambito Big Data con almeno 3 anni di esperienza
Responsabilità:
Sviluppare e mantenere pipeline di ingestion CDC dai database sorgente verso il layer Bronze, tramite connettori Debezium/Confluent, garantendo zero data loss ed extract-once.
Realizzare ed evolvere i flussi di elaborazione tra i layer Bronze ? Silver ? Gold con Apache Spark/Spark Streaming in Python (PySpark) e con Apache NiFi (processori e script Groovy).
Gestire le tabelle in formato Apache Iceberg su storage Ozone, incluse evoluzioni di schema (DDL) e ottimizzazioni.
Configurare e gestire topic Kafka, offset e code di dead-letter (DLQ): analisi, reprocessing e alerting sui messaggi in errore.
Implementare monitoraggio, alerting e tuning delle pipeline (salute dei flussi, latenza, volumi, soglie).
Applicare gli standard di progetto: naming convention, tracciabilità, data lineage, accessi e visibilità sui data tier.
Contribuire alle attività di testing, versionamento e pipeline CI, oltre alla documentazione tecnica.




Supportare le fasi di migrazione dei flussi attraverso gli ambienti (Test ? Collaudo ? Produzione
Competenze tecniche:
Esperienza nello sviluppo di pipeline di Data Engineering.
Conoscenza delle architetture Data Lake e Lakehouse.
Esperienza con paradigmi di Change Data Capture (CDC) e gestione di flussi dati in tempo reale.
Conoscenza di Apache Spark per l'elaborazione distribuita dei dati.
Esperienza con Apache Kafka e architetture event-driven.
Conoscenza di Apache NiFi per l'orchestrazione dei flussi dati.
Esperienza con formati tabellari per Data Lake, preferibilmente Apache Iceberg.
Conoscenza di piattaforme Big Data, preferibilmente Cloudera Data Platform (CDP).
Buona conoscenza di SQL e dei principali database relazionali.
Conoscenza dei principi di Data Quality, Data Governance e monitoraggio delle pipeline.
Familiarità con strumenti di versionamento del codice (Git) e pratiche di sviluppo partecipativo.
Capacità di analisi, problem solving e lavoro in team.
Sede operativa: Bari (in sede 5gg a settimana)
Retribuzione indicativa: RAL € *************
Si offre un inserimento in un contesto stimolante e innovativo, con grandi prospettive di crescita professionale e una retribuzione commisurata all'esperienza.
xlwpduy
Si richiede l'invio di Curricula rispondenti al profilo della posizione aperta, verranno presi in considerazione solo quelli effettivamente in possesso dei requisiti sopraindicati.
La ricerca è rivolta ad entrambi i sessi (L.******).
Inviare dettagliato curriculum vitae, con l'autorizzazione al trattamento dei dati personali secondo la Legge ********.

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/79pphb