Data Engineer
Pubblicato il 30-10-2026 - Prefe in Milano
Chi siamo
Prefe è una startup innovativa che ha sviluppato una piattaforma AI di market intelligence attiva nel settore Fast-Moving Consumer Goods (FMCG). Stiamo sviluppando sistemi proprietari di intelligenza artificiale che supportano i brand e i retailer nei processi decisionali e stiamo ampliando il nostro team tech. Se vuoi lavorare su dati che alimentano modelli AI distribuiti su larga scala, questo ruolo fa per te!
La tua missione
Siamo alla ricerca di un Data Engineer che contribuisca alle nostre operazioni di web scraping su larga scala. In questo ruolo supervisionerai, ottimizzerai ed espanderai la nostra infrastruttura di scraping, garantendo elevata qualità e affidabilità dei dati e contribuendo direttamente al successo dell'azienda.
- sarai coinvolto in prima persona nello sviluppo e nella manutenzione di script di web scraping utilizzando le librerie Python più comuni per lo scraping e la gestione dei dati;
- gestirai le operazioni quotidiane di scraping, coordinando oltre 5.000 spider attivi su punti vendita retail tramite il framework Scrapy;
- orchestrerai i workflow con Apache Airflow e monitorerai la pipeline di produzione;
- gestirai e ottimizzerai l'infrastruttura basata su Docker in ambienti VM;
- garantirai la qualità del codice e dei dati attraverso revisioni e QA, anche sul lavoro svolto da altri membri del team;
- utilizzerai un database PostgreSQL per interrogare, validare e analizzare i dati raccolti;
- contribuirai operativamente alla costruzione e manutenzione degli spider con Scrapy;
- manterrai e migliorerai la documentazione e le best practice per standardizzare i processi;
- collaborerai con team trasversali per garantire che i dati acquisiti rispondano alle esigenze di business;
- utilizzerai GitHub per il version control e la collaborazione sul codice.
Cosa cerchiamo:
- comprovata esperienza nel web scraping su larga scala (expertise con Scrapy indispensabile);
- solida conoscenza di Apache Airflow per l'orchestrazione dei workflow;
- esperienza pratica con Docker e ambienti basati su VM;
- buona conoscenza di SQL e capacità di lavorare con PostgreSQL per interrogazioni e validazione dei dati;
- spiccate capacità di code review e QA, con attenzione alla qualità e alle performance;
- eccellenti capacità di documentazione, organizzazione e comunicazione;
- esperienza con i workflow Git/GitHub.
Cosa ti farà distinguere immediatamente:
- esperienza nella gestione di infrastrutture proxy (Scrapoxy o similari);
- esperienza con Selenium e Playwright per l'estrazione di contenuti dinamici;
- mentalità creativa e problem solving con ossessione per la tecnologia;
- comprensione delle tecniche anti-scraping e dei metodi per navigarle.
- possesso di Partita IVA (o disponibilità ad aprirla) per avviare rapidamente la collaborazione in una fase iniziale;
- esperienza pregressa in startup e/o in contesti con team ridotti, con attitudine all’ownership, pragmatismo e velocità di esecuzione;
- madrelingua italiano o equivalente e conoscenza della lingua inglese (livello B2 o superiore).
- retribuzione competitive;
- modello di lavoro flessibile e lavoro da remoto;
- elevato livello di ownership e responsabilità tecnica reale;
- rapida opportunità di crescita professionale;
- ambiente giovane, dinamico, collaborativo e inclusivo.
Scadenza candidatura: 22/03/2026
Prefe è un datore di lavoro che garantisce pari opportunità. Valorizziamo la diversità e siamo impegnati a creare un ambiente inclusivo per tutti i collaboratori.
#J-18808-Ljbffr