Data Engineer

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/8euduf

Chi siamo
Prefe è una startup innovativa che ha sviluppato una piattaforma AI di market intelligence attiva nel settore Fast-Moving Consumer Goods (FMCG). Stiamo sviluppando sistemi proprietari di intelligenza artificiale che supportano i brand e i retailer nei processi decisionali e stiamo ampliando il nostro team tech. Se vuoi lavorare su dati che alimentano modelli AI distribuiti su larga scala, questo ruolo fa per te
La tua missione
Siamo alla ricerca di un Data Engineer che contribuisca alle nostre operazioni di web scraping su larga scala. In questo ruolo supervisionerai, ottimizzerai ed espanderai la nostra infrastruttura di scraping, garantendo elevata qualità e affidabilità dei dati e contribuendo direttamente al successo dell'azienda.
- sarai coinvolto in prima persona nello sviluppo e nella manutenzione di script di web scraping utilizzando le librerie Python più comuni per lo scraping e la gestione dei dati;
- gestirai le operazioni quotidiane di scraping, coordinando oltre 5.000 spider attivi su punti vendita retail tramite il framework Scrapy;




- orchestrerai i workflow con Apache Airflow e monitorerai la pipeline di produzione;
- gestirai e ottimizzerai l'infrastruttura basata su Docker in ambienti VM;
- garantirai la qualità del codice e dei dati attraverso revisioni e QA, anche sul lavoro svolto da altri membri del team;
- utilizzerai un database PostgreSQL per interrogare, validare e analizzare i dati raccolti;
- contribuirai operativamente alla costruzione e manutenzione degli spider con Scrapy;
- manterrai e migliorerai la documentazione e le best practice per standardizzare i processi;
- collaborerai con team trasversali per garantire che i dati acquisiti rispondano alle esigenze di business;
- utilizzerai GitHub per il version control e la collaborazione sul codice.

Cosa cerchiamo:
- comprovata esperienza nel web scraping su larga scala (expertise con Scrapy indispensabile);
- solida conoscenza di Apache Airflow per l'orchestrazione dei workflo

Vedi l’offerta su Go Lavoro: golavoro.it/annuncio-lavoro/8euduf