Senior Big Data Platform Engineer
Sede: Full Remote / Ibrido (in base alle esigenze di progetto)
Tipologia di contratto: Tempo completo
Esperienza richiesta: 5+ anni
Lingue: Italiano fluente, Inglese tecnico
Chi stiamo cercando
Per un importante progetto in ambito Big Data e Cloud-Native siamo alla ricerca di un Senior Big Data Platform Engineer, una figura con consolidata esperienza nella progettazione, implementazione e gestione di piattaforme dati enterprise ad alte prestazioni.
La risorsa sarà coinvolta nella realizzazione e nell'evoluzione di architetture Data Lakehouse, contribuendo allo sviluppo di pipeline dati scalabili, alla governance del dato e all'automazione dell'infrastruttura secondo i principi DevOps e GitOps.
Responsabilità
Progettare e sviluppare pipeline di Data Engineering su piattaforme Big Data.
Implementare soluzioni di elaborazione dati batch e streaming ad alte prestazioni.
Gestire infrastrutture Cloud-Native basate su Kubernetes e container Docker.
Automatizzare deployment e workflow tramite Argo Workflows e Argo CD.
Garantire sicurezza,
governance e controllo degli accessi ai dati.
Collaborare con Data Engineer, Data Scientist, Platform Engineer e team DevOps.
Ottimizzare performance, affidabilità e scalabilità della piattaforma dati.
Supportare la definizione di architetture Data Lakehouse e Data Mesh.
Requisiti
Data Engineering & Processing
Esperienza con Apache Spark (3.5+)
Ottima conoscenza di PySpark
Buona conoscenza di Scala (2.13+)
Ottima conoscenza di Python (3.x+), inclusa esperienza con Dask
Esperienza nello sviluppo di pipeline ETL/ELT su grandi moli di dati
Query Engine & Streaming
Esperienza con Trino per query distribuite su Data Lake
Esperienza con Apache Kafka per architetture event-driven e streaming
Storage & Data Architecture
Esperienza nella progettazione e gestione di Data Lakehouse
Utilizzo di Amazon S3 Object Storage o storage compatibili
Conoscenza di Apache Hive Metastore
Infrastructure & Orchestration
Ottima conosce
📌 Sviluppatore Big Data (Torino)
🏢 VLC2
📍 Torino