Developer Python e PySpark su Databricks
Stiamo cercando per un nostro progetto una risorsa con le seguenti esperienze: Progettare e sviluppare pipeline dati (ETL/ELT) in Python e PySpark su Databricks. Gestire l'architettura dei dati secondo il modello Lakehouse / Medallion (Bronze, Silver, Gold) con Delta Lake. Scrivere query e trasformazioni in SQL e Spark SQL. Orchestrare i flussi con Databricks Workflows e/o strumenti come Azure Data Factory o Airflow. Gestire governance e permessi con Unity Catalog. Ottimizzare prestazioni e costi di cluster e job. Collaborare con analisti e team BI (es. Power BI) per rendere i dati pronti all'uso. Curare qualità del dato, test e documentazione. Cosa cerchiamo: 2 anni di esperienza come Data Engineer o sviluppatore Python in ambito dati. Ottima conoscenza di Python (pandas, PySpark) e SQL. Esperienza concreta su Databricks e Apache Spark. Conoscenza di Delta Lake e dei concetti di data lake e data warehouse. Esperienza con almeno un cloud:
Azure (preferibile), AWS o GCP. Uso di Git e buone pratiche di sviluppo (code review, test, CI/CD). Italiano fluente e inglese tecnico. Costituisce un plus Certificazione Databricks Data Engineer Associate / Professional. Esperienza con Microsoft Fabric, Azure Data Factory, Synapse. Conoscenza di dbt, Airflow o Terraform. Esperienza con MLflow o progetti di machine learning e AI. Esperienza con streaming dati (Structured Streaming, Kafka, Event Hubs). Non verrano valutati CV dai quali non si evinca l'esperienza con PySpark su DataBricks Sede di lavoro: Ibrido/da remoto (Milano, Lombardia). Competenze richieste: Python (pandas, PySpark) e SQL. Progettare e sviluppare pipeline dati (ETL/ELT) in Python e PySpark su Databricks.
Azure (preferibile), AWS o GCP. Uso di Git e buone pratiche di sviluppo (code review, test, CI/CD). Italiano fluente e inglese tecnico. Costituisce un plus Certificazione Databricks Data Engineer Associate / Professional. Esperienza con Microsoft Fabric, Azure Data Factory, Synapse. Conoscenza di dbt, Airflow o Terraform. Esperienza con MLflow o progetti di machine learning e AI. Esperienza con streaming dati (Structured Streaming, Kafka, Event Hubs). Non verrano valutati CV dai quali non si evinca l'esperienza con PySpark su DataBricks Sede di lavoro: Ibrido/da remoto (Milano, Lombardia). Competenze richieste: Python (pandas, PySpark) e SQL. Progettare e sviluppare pipeline dati (ETL/ELT) in Python e PySpark su Databricks.