Junior Data Engineer AWS/ETL/DEVOPS
Il ruolo Cerchiamo un Junior Data Engineer- DevOps engineer per un allocazione in un ambiente attuale e collaborativo. Lavorerai su progetti di data engineering con focus su architetture cloud e pipeline ETL.
Cosa farai
- Sviluppare e mantenere pipeline ETL utilizzando Airflow e AWS Lambda
- Gestire elaborazioni batch con AWS Batch e Fargate
- Lavorare con Amazon Redshift per data warehousing
- Implementare data quality checks con Great Expectations
- Collaborare con il team su soluzioni di data engineering scalabili
Requisiti
- Python, incluso testing
- SQL
- Airflow
- AWS Lambda
- AWS Batch e Fargate
- Amazon Redshift
- GitHub
- Apache Iceberg o equivalente formato open table
- CloudFormation;
- GitHub Actions e workflow.
Costituiscono un plus
- Conoscenza di DuckDB
- Conoscenza di Spark
Modalità di lavoro
Ibrida su Milano
Ai sensi della normativa vigente l’offerta è rivolta ad entrambi i sessi (DL 903/77).
Cosa farai
- Sviluppare e mantenere pipeline ETL utilizzando Airflow e AWS Lambda
- Gestire elaborazioni batch con AWS Batch e Fargate
- Lavorare con Amazon Redshift per data warehousing
- Implementare data quality checks con Great Expectations
- Collaborare con il team su soluzioni di data engineering scalabili
Requisiti
- Python, incluso testing
- SQL
- Airflow
- AWS Lambda
- AWS Batch e Fargate
- Amazon Redshift
- GitHub
- Apache Iceberg o equivalente formato open table
- CloudFormation;
- GitHub Actions e workflow.
Costituiscono un plus
- Conoscenza di DuckDB
- Conoscenza di Spark
Modalità di lavoro
Ibrida su Milano
Ai sensi della normativa vigente l’offerta è rivolta ad entrambi i sessi (DL 903/77).