Sede:
Full Remote / Ibrido (in base alle esigenze di progetto)
Tipologia di contratto:
Tempo completo
Esperienza richiesta:
5+ anni
Lingue:
Italiano fluente, Inglese tecnico
Chi stiamo cercando
Per un notevole progetto in ambito Big Data e Cloud-Native siamo alla ricerca di un
Senior Big Data Platform Engineer
, una figura con consolidata esperienza nella progettazione, implementazione e gestione di piattaforme dati enterprise ad alte prestazioni.
La risorsa sarà coinvolta nella realizzazione e nell'evoluzione di architetture Data Lakehouse, contribuendo allo sviluppo di pipeline dati scalabili, alla governance del dato e all'automazione dell'infrastruttura secondo i principi DevOps e GitOps.
Responsabilità
Progettare e sviluppare pipeline di Data Engineering su piattaforme Big Data.
Implementare soluzioni di elaborazione dati batch e streaming ad alte prestazioni.
Gestire infrastrutture Cloud-Native basate su Kubernetes e container Docker.
Automatizzare deployment e workflow tramite Argo Workflows e Argo CD.
Garantire sicurezza,
governance e controllo degli accessi ai dati.
Collaborare con Data Engineer, Data Scientist, Platform Engineer e team DevOps.
Ottimizzare performance, affidabilità e scalabilità della piattaforma dati.
Supportare la definizione di architetture Data Lakehouse e Data Mesh.
Requisiti
Data Engineering & Processing
Esperienza con
Apache Spark (3.5+)
Ottima conoscenza di
PySpark
Buona conoscenza di
Scala (2.13+)
Ottima conoscenza di
Python (3.x+)
, inclusa esperienza con
Dask
Esperienza nello sviluppo di pipeline ETL/ELT su grandi moli di dati
Query Engine & Streaming
Esperienza con
Trino
per query distribuite su Data Lake
Esperienza con
Apache Kafka
per architetture event-driven e streaming
Storage & Data Architecture
Esperienza nella progettazione e gestione di
Data Lakehouse
Utilizzo di
Amazon S3 Object Storage
o storage compatibili
Conoscenza di
Apache Hive Metas
📌 Sviluppatore Big Data Città Metropolitana Di Torino
🏢 Vlc2
📍 Città Metropolitana di Torino
Candidati a questo annuncio
Mostra le tue capacità professionali all'azienda, compila il form e lascia un tocco personale nella lettera di presentazione, aiuterà il recruiter nella scelta del candidato.