Overview In questa posizione, progetti e sviluppi pipeline di elaborazione dati su larga scala sfruttando Spark e Spark SQL, con focus su Azure Data Factory e pipeline end-to-end. Supporti l’ingegneria dei dati per dati strutturati e non strutturati e applichi tecniche ML per problemi reali in contesti come fashion, geospaziale e industriale. Lavori a stretto contatto con stakeholder di business per tradurre esigenze analitiche in soluzioni data-driven e presenti i risultati tramite report e dashboard. Un ruolo chiave in un’azienda tecnologica in crescita dove l’innovazione e le attività di MLOps garantiscono scalabilità e affidabilità.
Retribuzione / Benefits
lavoro da remoto/ibrido
formazione e aggiornamento tecnico continuo
tempo indeterminato
possibilità di crescita in azienda
tipo di contratto indeterminato
areas zona Bologna

Responsabilità
Progettare e sviluppare pipeline di elaborazione dati su larga scala using Spark (Scala e Spark SQL)
Ottimizzare processi di elaborazione distribuita (RDD, DataFrame, Spark SQL)




Sviluppare UDF personalizzate per trasformazioni complesse
Gestire architetture di data ingestion e data processing su Microsoft Azure (Azure Data Factory)
Costruire pipeline end-to-end per dati strutturati e non strutturati
Applicare ML (regressione, clustering, anomaly detection, forecasting) in diverse aree
Supportare messa in produzione di modelli (MLOps) per scalabilità e affidabilità
Collaborare con stakeholder di business per tradurre esigenze analitiche in soluzioni data-driven
Realizzare report, dashboard e presentazioni per comunicare risultati a tecnici e business

Requisiti fondamentali
Esperienza consolidata con Apache Spark (Scala, Spark SQL)
Ottima conoscenza di Python e/o Scala
Conoscenza di paradigmi di elaborazione distribuita (RDD, DataFrame, MapReduce)
Esperienza su Microsoft Azure Data Platform, in particolare Azure Data Factory
Capacità di progettare e gestire pipeline ETL e data

📌 Ai Data Engineer Bologna
🏢 Michael Page International
📍 Bologna