Sede:
Full Remote / Ibrido (in base alle esigenze di progetto)
Tipologia di contratto:
Tempo pieno
Esperienza richiesta:
5+ anni
Lingue:
Italiano fluente, Inglese tecnico
Chi stiamo cercando
Per un notevole progetto in ambito Big Data e Cloud-Native siamo alla ricerca di un
Senior Big Data Platform Engineer
, una figura con consolidata esperienza nella progettazione, implementazione e gestione di piattaforme dati enterprise ad alte prestazioni.
La risorsa sarà coinvolta nella realizzazione e nell'evoluzione di architetture Data Lakehouse, contribuendo allo sviluppo di pipeline dati scalabili, alla governance del dato e all'automazione dell'infrastruttura secondo i principi DevOps e GitOps.
Responsabilità
- Progettare e sviluppare pipeline di Data Engineering su piattaforme Big Data.
- Implementare soluzioni di elaborazione dati batch e streaming ad alte prestazioni.
- Gestire infrastrutture Cloud-Native basate su Kubernetes e container Docker.
- Automatizzare deployment e workflow tramite Argo Workflows e Argo CD.
- Garantire sicurezza,
governance e controllo degli accessi ai dati.
- Collaborare con Data Engineer, Data Scientist, Platform Engineer e team DevOps.
- Ottimizzare performance, affidabilità e scalabilità della piattaforma dati.
- Supportare la definizione di architetture Data Lakehouse e Data Mesh.
Requisiti
Data Engineering & Processing
- Esperienza con
Apache Spark (3.5+)
- Ottima conoscenza di
PySpark
- Buona conoscenza di
Scala (2.13+)
- Ottima conoscenza di
Python (3.x+)
, inclusa esperienza con
Dask
- Esperienza nello sviluppo di pipeline ETL/ELT su grandi moli di dati
Query Engine & Streaming
- Esperienza con
Trino
per query distribuite su Data Lake
- Esperienza con
Apache Kafka
per architetture event-driven e streaming
Storage & Data Architecture
- Esperienza nella progettazione e gestione di
Data Lakehouse
- Utilizzo di
Amazon S3 Object Storage
o storage compatibili
- Conoscenza di
Apache Hive Metas
📌 Sviluppatore Big Data (Città Metropolitana di Torino)
🏢 VLC2
📍 Città Metropolitana di Torino
Candidati a questo annuncio
Mostra le tue capacità professionali all'azienda, compila il form e lascia un tocco personale nella lettera di presentazione, aiuterà il recruiter nella scelta del candidato.