17 ott
|
ADENTIS Italia
|
Italia
17 ott
ADENTIS Italia
Italia
ADENTIS Italia è un gruppo europeo di consulenza ingegneristica e operativa facente parte del Gruppo MoOngy. Presente in 12 paesi europei con oltre 8.500 dipendenti, abbiamo aperto, da quattro anni, la prima sede italiana a Milano e, vista la continua crescita, stiamo rafforzando e ampliando il nostro team con persone che condividano gli stessi valori della nostra società: AMBIZIONE, SORRISO, DINAMISMO, VOGLIA DI METTERSI IN GIOCO, il tutto in una realtà in continua evoluzione, nella quale le relazioni umane sono sempre al primo posto. Posizione: Data Engineer Descrizione del ruolo Siamo alla ricerca di un/una Data Engineer con competenze solide nella progettazione e nello sviluppo di pipeline dati e nell'ecosistema Databricks e Lakehouse. La risorsa si occuperà di progettare, sviluppare e mantenere pipeline di dati affidabili, scalabili e di qualità, lavorando sia su processi batch sia su processi streaming. Il ruolo prevede un coinvolgimento diretto nello sviluppo e nell'amministrazione della piattaforma Databricks, nell'ottimizzazione delle performance,
nel monitoraggio della qualità dei dati e nell'adozione di buone pratiche CI/CD per le piattaforme dati. Responsabilità * Progettare e implementare processi ETL/ELT. * Sviluppare e orchestrare pipeline di dati in modalità batch e streaming. * Sviluppare soluzioni in Python (PySpark, Pandas) per l'elaborazione dei dati. * Scrivere e ottimizzare query SQL avanzate, curando data modeling e performance tuning. * Lavorare sulla piattaforma Databricks, sia in sviluppo sia in amministrazione. * Sviluppare con Apache Spark (PySpark e Spark SQL) e Delta Lake. * Gestire governance e accessi ai dati con Unity Catalog. * Realizzare pipeline con Delta Live Tables (DLT), Databricks Workflows e Auto Loader. * Implementare framework di data validation e attività di monitoraggio della qualità dei dati e di riconciliazione. * Applicare pratiche di CI/CD alle piattaforme dati. * Utilizzare Git per il controllo di versione del codice
📌 Data Engineer (Italia)
🏢 ADENTIS Italia
📍 Italia