CHI SIAMO
AGAP2 è un gruppo europeo di consulenza ingegneristica e operativa facente parte del Gruppo MoOngy .
Presente in 14 paesi europei con oltre 7.500 dipendenti, abbiamo aperto la prima sede italiana a Milano e, vista la continua crescita, stiamo rafforzando e ampliando il nostro team con persone che condividano gli stessi valori della nostra società: AMBIZIONE, SORRISO, DINAMISMO, VOGLIA DI METTERSI IN GIOCO, il tutto in una realtà in continua evoluzione, nella quale le relazioni umane sono sempre al primo posto.
Responsabilità principali:
Sviluppare e mantenere pipeline di ingestion CDC dai database sorgente verso il layer Bronze, tramite connettori Debezium / Confluent, garantendo zero data loss ed extract-once.
Realizzare ed evolvere i flussi di elaborazione tra i layer Bronze → Silver → Gold con Apache Spark / Spark Streaming in Python (PySpark) e con Apache NiFi (processori e script Groovy).
Gestire le tabelle in formato Apache Iceberg su storage Ozone, incluse evoluzioni di schema (DDL) e ottimizzazioni.
Configurare e gestire topic Kafka, offset e code di dead-letter (DLQ): analisi, reprocessing e alerting sui messaggi in errore.
Implementare monitoraggio, alerting e tuning delle pipeline (salute dei flussi, latenza, volumi, soglie).
Applicare gli standard di progetto: naming convention, tracciabilità, data lineage, accessi e visibilità sui data tier.
Contribuire alle attività di testing, versionamento e pipeline CI, oltre alla documentazione tecnica.
Supportare le fasi di migrazione dei flussi attraverso gli ambienti (Test → Collaudo → Produzione).
Competenze tecniche richieste
Esperienza nello sviluppo di pipeline di Data Engineering.
Conoscenza delle architetture Data Lake e Lakehouse.
Esperienza con paradigmi di Change Data Capture (CDC) e gestione di flussi dati in tempo reale.
Conoscenza di Apache Spark per l'elaborazione distribuita dei dati.
Esperienza con Apache Kafka e architetture event-driven.
Conoscenza di Apache NiFi per l'orchestrazione dei flussi dati.
Esperienza con formati tabellari per Data Lake, preferibilmente Apache Iceberg.
Conoscenza di piattaforme Big Data, preferibilmente Cloudera Data Platform (CDP).
Buona conoscenza di SQL e dei principali database relazionali.
Conoscenza dei principi di Data Quality, Data Governance e monitoraggio delle pipeline.
Familiarità con strumenti di versionamento del codice (Git) e pratiche di sviluppo cooperativo.
Capacità di analisi, problem solving e lavoro in team.
La retribuzione annua lorda per questo ruolo è compresa tra 23.000 EUR e 28.000 EUR.
Il posizionamento all'interno del range sarà definito in base alle competenze tecniche, all'esperienza specifica nel ruolo e agli esiti del processo di selezione, secondo criteri oggettivi e predefiniti.
In presenza di profili con caratteristiche eccezionali rispetto al range indicato, una revisione potrà essere valutata previa approvazione interna.
The world needs you
AGAP2 è un equal opportunities employer: crediamo che tutte le forme di diversità siano fonte di arricchimento reciproco. Ci impegniamo a garantire un ambiente di lavoro inclusivo, nel quale ogni singola risorsa possa apportare un valore unico alla nostra realtà. Pertanto, accogliamo candidature senza distinzione di età, genere, nazionalità, disabilità, orientamento sessuale, religione o stato civile.
Inoltre, teniamo fede ai nostri impegni prestando attenzione alle risorse appartenenti alle categorie protette ai sensi degli articoli 1 e 18 della Legge 68/99.
I dati personali saranno trattati in conformità alle disposizioni contenute nel regolamento UE 2016/679.
#J-18808-Ljbffr
📌 Data Engineer (Bari)
🏢 Altro
📍 Bari