Chi siamo Prefe è una startup innovativa che ha sviluppato una piattaforma AI di market intelligence attiva nel settore Fast-Moving Consumer Goods (FMCG). Stiamo sviluppando sistemi proprietari di intelligenza artificiale che supportano i brand e i retailer nei processi decisionali e stiamo ampliando il nostro team tech. Se vuoi lavorare su dati che alimentano modelli AI distribuiti su larga scala, questo ruolo fa per te La tua missione Siamo alla ricerca di un Data Engineer che contribuisca alle nostre operazioni di web scraping su larga scala.
In questo ruolo supervisionerai, ottimizzerai ed espanderai la nostra infrastruttura di scraping, garantendo elevata qualità e affidabilità dei dati e contribuendo direttamente al successo dell'azienda.
sarai coinvolto in prima persona nello sviluppo e nella manutenzione di script di web scraping utilizzando le librerie Python più comuni per lo scraping e la gestione dei dati; orchestrerai i workflow con Apache Airflow e monitorerai la pipeline di produzione; gestirai e ottimizzerai l'infrastruttura basata su Docker in ambienti VM; garantirai la qualità del codice e dei dati attraverso revisioni e QA, anche sul lavoro svolto da altri membri del team; utilizzerai un database Postgre SQL per interrogare, validare e analizzare i dati raccolti; collaborerai con team trasversali per garantire che i dati acquisiti rispondano alle esigenze di business; utilizzerai Git Hub per il version control e la collaborazione sul codice.
Cosa cerchiamo: comprovata esperienza nel web scraping su larga scala (expertise con Scrapy indispensabile); solida conoscenza di Apache Airflow per l'orchestrazione dei workflow; esperienza pratica con Docker e ambienti basati su VM; buona conoscenza di SQL e capacità di lavorare con Postgre SQL per interrogazioni e validazione dei dati; eccellenti capacità di documentazione, organizzazione e comunicazione; esperienza con i workflow Git/Git Hub.
Cosa ti farà distinguere immediatamente: esperienza nella gestio
📌 Data Engineer (Italia)
🏢 Prefe
📍 Italia