Data Engineer - AWS Data Lakehouse (HYBRID based in MILANO)
Expandi Group opera nel settore Marketing & Advertising Technology, con sedi in diversi Paesi europei.
Cerchiamo un Data Engineer da inserire nel nostro team DATA per contribuire alla gestione di una piattaforma Data Lakehouse su AWS.
Di cosa ti occuperai;
- Contribuire alla gestione di un’architettura Data Lakehouse basata su S3, Athena e tabelle Apache Iceberg
- Progettare, sviluppare e gestire pipeline di ingestione e trasformazione dati su AWS, integrando database relazionali, file, API e sistemi CRM
- Sviluppare e mantenere workflow Python/SQL orchestrati con Apache Airflow, anche durante la migrazione dei processi esistenti
- Ottimizzare query, partizionamento, prestazioni, monitoraggio e costi di elaborazione e storage
- Collaborare con i diversi team internazionali in ambito permessi, security, deployment e continuità operativa.
Requisiti essenziali
- Almeno 3 anni di esperienza concreta come Data Engineer, preferibilmente su piattaforme dati cloud in produzione
- Esperienza pratica con AWS per pipeline e piattaforme dati; in particolare Amazon S3 e Athena, e familiarità con Glue e IAM
- Ottima conoscenza di Python e SQL, inclusa l’ottimizzazione di query e trasformazioni su dataset di grandi dimensioni
- Esperienza nello sviluppo di pipeline ETL/ELT, gestione di job schedulati, monitoraggio e risoluzione di problemi
- Conoscenza operativa dei principi di data lake/data lakehouse e dei formati tabellari o colonnari moderni
- Ottima conoscenza della lingua inglese, scritta e parlata.
Competenze "PLUS" particolarmente apprezzate
- Esperienza diretta con architettura Data Lakehouse
- Esperienza diretta con Apache Iceberg: gestione delle tabelle,
evoluzione degli schemi, aggiornamenti e manutenzione
- Utilizzo di Apache Airflow per orchestrare pipeline in produzione
- Esperienza con AWS Glue Data Catalog, permessi e governance dei dati (es. Lake Formation)
- Conoscenza di PostgreSQL, integrazione con database operativi e strategie di sincronizzazione tra sistemi
- Esperienza con dataset B2B, matching di aziende, deduplicazione e gestione di identificativi provenienti da fonti diverse
- Git, CI/CD, infrastruttura come codice e, ove utile, Docker; esperienza con Spark per trasformazioni distribuite.
Cosa offriamo
- Un ruolo concreto nella implementazione di una nuova piattaforma strategica
- Progetti su larga scala, collaborazione con un team internazionale e possibilità di crescita tecnica
- Formazione continua e modalità di lavoro ibrida, con 3 giorni a settimana in ufficio a Milano.
Tipologia contrattuale, inquadramento e retribuzione saranno commisurati all’esperienza e alle competenze.
La ricerca è rivolta a persone di ogni genere, nel rispetto della normativa applicabile. I dati personali saranno trattati ai sensi del Regolamento UE 2016/679.
Contratto di lavoro: Tempo pieno
Retribuzione: a partire da €1.000,00 al mese
Domande di preselezione:
- Il lavoro prevede la presenza in ufficio di almeno 3 giorni alla settimana
- Hai già lavorato direttamente su un'architettura Data Lakehouse in un atmosfera di produzione?
- Hai esperienza pratica nello sviluppo e nella gestione di pipeline dati su AWS (es. S3, Glue, Athena)?
Esperienza:
- Data Engineer: 3 anni (Obbligatorio)
Lingua:
- Inglese (Obbligatorio)
Sede di lavoro: In presenza
Cerchiamo un Data Engineer da inserire nel nostro team DATA per contribuire alla gestione di una piattaforma Data Lakehouse su AWS.
Di cosa ti occuperai;
- Contribuire alla gestione di un’architettura Data Lakehouse basata su S3, Athena e tabelle Apache Iceberg
- Progettare, sviluppare e gestire pipeline di ingestione e trasformazione dati su AWS, integrando database relazionali, file, API e sistemi CRM
- Sviluppare e mantenere workflow Python/SQL orchestrati con Apache Airflow, anche durante la migrazione dei processi esistenti
- Ottimizzare query, partizionamento, prestazioni, monitoraggio e costi di elaborazione e storage
- Collaborare con i diversi team internazionali in ambito permessi, security, deployment e continuità operativa.
Requisiti essenziali
- Almeno 3 anni di esperienza concreta come Data Engineer, preferibilmente su piattaforme dati cloud in produzione
- Esperienza pratica con AWS per pipeline e piattaforme dati; in particolare Amazon S3 e Athena, e familiarità con Glue e IAM
- Ottima conoscenza di Python e SQL, inclusa l’ottimizzazione di query e trasformazioni su dataset di grandi dimensioni
- Esperienza nello sviluppo di pipeline ETL/ELT, gestione di job schedulati, monitoraggio e risoluzione di problemi
- Conoscenza operativa dei principi di data lake/data lakehouse e dei formati tabellari o colonnari moderni
- Ottima conoscenza della lingua inglese, scritta e parlata.
Competenze "PLUS" particolarmente apprezzate
- Esperienza diretta con architettura Data Lakehouse
- Esperienza diretta con Apache Iceberg: gestione delle tabelle,
evoluzione degli schemi, aggiornamenti e manutenzione
- Utilizzo di Apache Airflow per orchestrare pipeline in produzione
- Esperienza con AWS Glue Data Catalog, permessi e governance dei dati (es. Lake Formation)
- Conoscenza di PostgreSQL, integrazione con database operativi e strategie di sincronizzazione tra sistemi
- Esperienza con dataset B2B, matching di aziende, deduplicazione e gestione di identificativi provenienti da fonti diverse
- Git, CI/CD, infrastruttura come codice e, ove utile, Docker; esperienza con Spark per trasformazioni distribuite.
Cosa offriamo
- Un ruolo concreto nella implementazione di una nuova piattaforma strategica
- Progetti su larga scala, collaborazione con un team internazionale e possibilità di crescita tecnica
- Formazione continua e modalità di lavoro ibrida, con 3 giorni a settimana in ufficio a Milano.
Tipologia contrattuale, inquadramento e retribuzione saranno commisurati all’esperienza e alle competenze.
La ricerca è rivolta a persone di ogni genere, nel rispetto della normativa applicabile. I dati personali saranno trattati ai sensi del Regolamento UE 2016/679.
Contratto di lavoro: Tempo pieno
Retribuzione: a partire da €1.000,00 al mese
Domande di preselezione:
- Il lavoro prevede la presenza in ufficio di almeno 3 giorni alla settimana
- Hai già lavorato direttamente su un'architettura Data Lakehouse in un atmosfera di produzione?
- Hai esperienza pratica nello sviluppo e nella gestione di pipeline dati su AWS (es. S3, Glue, Athena)?
Esperienza:
- Data Engineer: 3 anni (Obbligatorio)
Lingua:
- Inglese (Obbligatorio)
Sede di lavoro: In presenza