In questa posizione, progetti e sviluppi pipeline di elaborazione dati su larga scala sfruttando Spark e Spark SQL, con focus su Azure Data Factory e pipeline end-to-end. Supporti l’ingegneria dei dati per dati strutturati e non strutturati e applichi tecniche ML per problemi reali in contesti come fashion, geospaziale e industriale. Lavori a stretto contatto con stakeholder di business per tradurre esigenze analitiche in soluzioni data-driven e presenti i risultati tramite report e dashboard. Un ruolo chiave in un’azienda tecnologica in crescita dove l’innovazione e le attività di MLOps garantiscono scalabilità e affidabilità.
Retribuzione / Benefits
- smart working/ibrido
- formazione e aggiornamento tecnico continuo
- tempo indeterminato
- opportunità di crescita in azienda
- tipo di contratto indeterminato
- areas zona Bologna
Responsabilità
- Progettare e sviluppare pipeline di elaborazione dati su larga scala using Spark (Scala e Spark SQL)
- Ottimizzare processi di elaborazione distribuita (RDD, DataFrame, Spark SQL)
- Sviluppare UDF personalizzate per trasformazioni complesse
- Gestire architetture di data ingestion e data processing su Microsoft Azure (Azure Data Factory)
- Costruire pipeline end-to-end per dati strutturati e non strutturati
- Applicare ML (regressione, clustering, anomaly detection, forecasting) in diverse aree
- Supportare messa in produzione di modelli (MLOps) per scalabilità e affidabilità
- Collaborare con stakeholder di business per tradurre esigenze analitiche in soluzioni data-driven
- Realizzare report, dashboard e presentazioni per comunicare risultati a tecnici e business
Requisiti fondamentali
- Esperienza consolidata con Apache Spark (Scala, Spark SQL)
- Ottima conoscenza di Python e/o Scala
- Conoscenza di paradigmi di elaborazione distribuita (RDD, DataFrame, MapReduce)
- Esperienza su Microsoft Azure Data Platform, in particolare Azure Data Factory
- Capacità di progettare e gestire pipeline ETL e data ingestion
- Conoscenza di tecniche di Machine Learning: regressione, clustering, anomaly detection, forecasting/serie temporali
- Esperienza (anche base) nella messa in produzione di modelli
- Gradita esperienza con strumenti di data visualization e reporting
📌 AI DATA ENGINEER (Bologna)
🏢 Michael Page International
📍 Bologna
Candidati a questo annuncio
Mostra le tue capacità professionali all'azienda, compila il form e lascia un tocco personale nella lettera di presentazione, aiuterà il recruiter nella scelta del candidato.