Data Engineer - Real-Time CDC & Lakehouse (Bari)

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/78vjjh

Italia, Lazio, Bari, Informatica, Informatica/Tecnologia

Luogo di lavoro:

Luogo di lavoro: Italia , Lazio , Bari

Settore:

Data ultimo aggiornamento:

attività Stampa Dillo a un amico

Descrizione annuncio

Verifica la tua compatibilità con questo annuncio

Cerchiamo un Data Engineer da inserire nel team che sta realizzando TIDE (Trasferimento Infrastrutturale Dati ed Eventi): una piattaforma infrastrutturale di raccolta e propagazione, in tempo reale e "certificabile", degli eventi di variazione dati provenienti dai database operazionali aziendali.

La soluzione si basa su un paradigma di Change Data Capture (CDC) e su un'architettura Lakehouse Medallion (Bronze / Silver / Gold) costruita su tecnologie enterprise: Confluent Kafka, Cloudera Data Platform, Apache Iceberg, Apache Spark, Apache NiFi. È un progetto in forte crescita, con roadmap pluriennale, che alimenta servizi di business come la Centrale Eventi e casi d'uso di analytics avanzato.

Entrerai in un team strutturato, dove i profili senior definiscono architettura e standard: il tuo compito sarà implementare, far evolvere e mantenere robusti i flussi dati, con reale possibilità di crescere sui temi di streaming, governance e data quality.

- Sviluppare e mantenere pipeline di ingestion CDC dai database sorgente verso il layer Bronze, tramite connettori Debezium / Confluent , garantendo zero data loss ed extract-once.
- Realizzare ed evolvere i flussi di elaborazione tra i layer Bronze → Silver → Gold con Apache Spark / Spark Streaming in Python (PySpark) e con Apache NiFi (processori e script Groovy ).
- Gestire le tabelle in formato Apache Iceberg su storage Ozone , incluse evoluzioni di schema (DDL) e ottimizzazioni.
- Configurare e gestire topic Kafka , offset e code di dead-letter (DLQ ): analisi, reprocessing e alerting sui messaggi in errore.
- Implementare monitoraggio, alerting e tuning delle pipeline (salute dei flussi, latenza, volumi, soglie).
- Applicare gli standard di progetto : naming convention, tracciabilità, data lineage, accessi e visibilità sui data tier.
- Contribuire alle attività di testing, versionamento e pipeline CI , oltre alla documentazione tecnica.
- Supportare le fasi di migrazione dei flussi attraverso gli ambienti (Test → Collaudo → Produzione).

Riteniamo fondamentali per la tua candidatura:

- Laurea (triennale o magistrale) in Informatica, Ingegneria Informatica, ICT o discipline affini, oppure esperienza equivalente maturata sul campo.
- 4–6 anni di esperienza come Data Engineer o in ruoli equivalenti su pipeline dati.




- Solida conoscenza di SQL e dei principali database relazionali (almeno uno tra Oracle, PostgreSQL, MySQL, SQL Server).
- Buona padronanza di Python per lo sviluppo di job dati, con esperienza pratica di Apache Spark / PySpark (ambito streaming e/o batch su dati strutturati).
- Conoscenza di Apache Kafka e dei concetti di event streaming (topic, partizioni, offset, consumer group).
- Familiarità con ecosistemi big data / Hadoop / Cloudera e con formati di file colonnari (Parquet).
- Comprensione dei concetti di pipeline dati, ETL/ELT e architetture a layer (es. Medallion).

Dimestichezza con Git e con logiche di versionamento e CI.

Requisiti che costituiscono un plus:

- Esperienza con CDC e con connettori Debezium / Confluent .
- Conoscenza di Apache NiFi e capacità di scripting in Groovy (processori custom, filtri).
- Esperienza con Open Table Format (Apache Iceberg, Delta, Hudi) e concetti di time travel / data versioning.
- Conoscenza di strumenti di data lineage / data catalog / governance (Apache Atlas, OpenMetadata).
- Nozioni di data quality, data security e auditing .
- Esperienza con MongoDB o altre sorgenti NoSQL.
- Conoscenza di Ozone o altri storage distribuiti.
- Familiarità con strumenti di collaborazione Jira / Confluence .

Competenze trasversali

- Attenzione a robustezza, affidabilità e qualità del dato.
- Metodo e precisione nel seguire standard e convenzioni condivise.
- Capacità di lavorare in team e di coordinarsi con figure architetturali e di business.
- Autonomia nella diagnosi e risoluzione di problemi su flussi in esercizio.
- Buona comunicazione e propensione alla documentazione.
- Ottime capacità di problem solving e di analisi.
- Attitudine al lavoro in team e alla gestione autonoma dei progetti.

Dettagli contrattuali e retributivi

- Sede di lavoro: Bari (modalità in presenza)
- Orario di lavoro: Full-time, 40h settimanali (9:00–18:00, dal lunedì al venerdì)
- Trasferte: occasionali su territorio nazionale
- Contratto: tempo indeterminato – CCNL Terziario, livello da definire
- Pacchetto retributivo: €30.000 – €40.000, compresi eventuali benefit
- Attività svolta anche presso sedi dei clienti; possibile variazione di contesto e orari in funzione dei progetti, nel rispetto della normativa vigente.





Sede di lavoro: Bari, con attività svolta interamente in presenza presso il cliente.

Chi siamo

Siamo un'affermata realtà nel settore della consulenza ed offriamo servizi altamente specializzati in ambito Management Consulting, Information Technology e della Customer Experience.

Investiamo nel nostro asset migliore: le persone

Sarai immerso immediatamente in sfide coinvolgenti, offrendoti l'occasione di ampliare le tue competenze e gestire progetti complessi e stimolanti presso i nostri clienti.

Formazione

Valorizziamo il capitale umano per renderlo un asset competitivo. Crediamo nella formazione perché aumenta il valore della nostra impresa e la motivazione delle nostre risorse.

La ricerca rispetta il D.lgs. 198/2006, il D.lgs. 215/03 e il D.lgs. 216/03 ed è aperta a candidati di qualsiasi orientamento sessuale o espressione di genere, età, etnia e credo religioso.

Iter di selezione

Se condividi la nostra passione per il mondo della tecnologia e dell'innovazione e pensi di poter dare un contributo che possa lasciare un segno, segui questi rapidi step:

- ESPLORA: visita il nostro sito e scopri le posizioni aperte per individuare quella che più si addice al tuo profilo.
- PRIMO CONTATTO TELEFONICO CON HR: entra nel vivo della nostra mission aziendale e condividi le tue esperienze e conoscenze.
- COLLOQUIO CON I MANAGER: approfondisci i nostri ambiti di sviluppo.
- COLLOQUIO HR: avvicinati alla nostra realtà e mettiti alla prova mostrando la tua motivazione e il tuo potenziale.
- WELCOME IN SOFT STRATEGY: Ora fai parte del nostro gruppo, una squadra fatta di persone , impegno ed innovazione. Costruiamo insieme il nostro futuro digitale.

Le tue sfide Cerchiamo una Risorsa motivata e competente da inserire come Full Stack Java Developer, che sarà coinvolta in attività di analisi, progettazione e sviluppo di soluzioni applicative moderne basate su architetture a microservizi, contribuendo attivamente all’evoluzione dei sistemi e all’i

Le tue sfide Cerchiamo un/una Mulesoft Developer con almeno 3 anni di esperienza su progetti strutturati, maturata preferibilmente in contesti di consulenza o su iniziative di trasformazione digitale. Responsabilità principali: - Collaborare con il team per raccogliere e comprendere i requisiti te

Per la nostra divisione AI & Innovation siamo alla ricerca di un AI Engineer con almeno 4 anni di esperienza, che abbia voglia di lavorare su progetti concreti, PoC avanzati e asset proprietari ad alto contenuto innovativo. Responsabilità principali - Progettare e realizzare moduli AI avanzati: LLM

#J-18808-Ljbffr

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/78vjjh