Developer Python e PySpark su Databricks
Stiamo cercando per un nostro progetto una risorsa con le seguenti esperienze:
Progettare e sviluppare pipeline dati (ETL/ELT) in Python e PySpark su Databricks.
Gestire l'architettura dei dati secondo il modello Lakehouse / Medallion (Bronze, Silver, Gold) con Delta Lake.
Scrivere query e trasformazioni in SQL e Spark SQL.
Orchestrare i flussi con Databricks Workflows e/o strumenti come Azure Data Factory o Airflow.
Gestire governance e permessi con Unity Catalog.
Ottimizzare prestazioni e costi di cluster e job.
Collaborare con analisti e team BI (es. Power BI) per rendere i dati pronti all'uso.
Curare qualità del dato, test e documentazione.
Cosa cerchiamo:
- 2 anni di esperienza come Data Engineer o sviluppatore Python in ambito dati.
- Ottima conoscenza di Python (pandas, PySpark) e SQL.
- Esperienza concreta su Databricks e Apache Spark.
- Conoscenza di Delta Lake e dei concetti di data lake e data warehouse.
- Esperienza con almeno un cloud: Azure (preferibile), AWS o GCP.
- Uso di Git e buone pratiche di sviluppo (code review, test, CI/CD).
- Italiano fluente e inglese tecnico.
Costituisce un plus
- Certificazione Databricks Data Engineer Associate / Professional.
- Esperienza con Microsoft Fabric, Azure Data Factory, Synapse.
- Conoscenza di dbt, Airflow o Terraform.
- Esperienza con MLflow o progetti di machine learning e AI.
- Esperienza con streaming dati (Structured Streaming, Kafka, Event Hubs).
Non verrano valutati CV dai quali non si evinca l'esperienza con PySpark su DataBricks
Sede di lavoro: Ibrido/da remoto (Milano, Lombardia)
Python (pandas, PySpark) e SQL.
Progettare e sviluppare pipeline dati (ETL/ELT) in Python e PySpark su Databricks.
Progettare e sviluppare pipeline dati (ETL/ELT) in Python e PySpark su Databricks.
Gestire l'architettura dei dati secondo il modello Lakehouse / Medallion (Bronze, Silver, Gold) con Delta Lake.
Scrivere query e trasformazioni in SQL e Spark SQL.
Orchestrare i flussi con Databricks Workflows e/o strumenti come Azure Data Factory o Airflow.
Gestire governance e permessi con Unity Catalog.
Ottimizzare prestazioni e costi di cluster e job.
Collaborare con analisti e team BI (es. Power BI) per rendere i dati pronti all'uso.
Curare qualità del dato, test e documentazione.
Cosa cerchiamo:
- 2 anni di esperienza come Data Engineer o sviluppatore Python in ambito dati.
- Ottima conoscenza di Python (pandas, PySpark) e SQL.
- Esperienza concreta su Databricks e Apache Spark.
- Conoscenza di Delta Lake e dei concetti di data lake e data warehouse.
- Esperienza con almeno un cloud: Azure (preferibile), AWS o GCP.
- Uso di Git e buone pratiche di sviluppo (code review, test, CI/CD).
- Italiano fluente e inglese tecnico.
Costituisce un plus
- Certificazione Databricks Data Engineer Associate / Professional.
- Esperienza con Microsoft Fabric, Azure Data Factory, Synapse.
- Conoscenza di dbt, Airflow o Terraform.
- Esperienza con MLflow o progetti di machine learning e AI.
- Esperienza con streaming dati (Structured Streaming, Kafka, Event Hubs).
Non verrano valutati CV dai quali non si evinca l'esperienza con PySpark su DataBricks
Sede di lavoro: Ibrido/da remoto (Milano, Lombardia)
Python (pandas, PySpark) e SQL.
Progettare e sviluppare pipeline dati (ETL/ELT) in Python e PySpark su Databricks.