Data Engineer Pyspark / Big Data · Freelance
Cerchiamo un data engineer freelance, ibrido su Milano, per entrare in un team dati già avviato, su pipeline Py Spark e orchestrazione con Airflow. Attività previste Sviluppare e mantenere pipeline di dati in Py Spark Orchestrare i flussi con Airflow e gestirne gli errori Integrare nuove fonti di dati con Apache Ni Fi Ottimizzare tempi e costi dei job sul cluster Documentare flussi e trasformazioni per il resto del team Conoscenze richieste Almeno 2 anni come data engineer Contano più la testa e la voglia di imparare della lista degli strumenti: se hai lavorato bene su Spark e Ni Fi o Airflow li conosci poco, candidati lo stesso. Costituiranno un titolo preferenziale conoscenze di: Pagamenti digitali o pubblica amministrazione Cloudera Apache Ni Fi Airflow Kafka Hive Le condizioni Dove: ibrido su Milano, con alcuni giorni in sede Il processo di selezione Il processo di selezione prevede di rispondere solo alle candidature compatibili, di solito entro 48 ore dall'invio. Dopodiché si svolgerà un colloquio conoscitivo e successivamente potranno esserci uno o due colloqui di approfondimento tecnico.