Data Engineer ambito Big Data (Italia)

Data Engineer ambito Big Data (Italia)

13 ago
|
Esprimo S. R. L.
|
Italia

13 ago

Esprimo S. R. L.

Italia

ESPRIMO Srl, società di consulenza informatica che opera dal 2002 su tutto il territorio nazionale ed internazionale, a supporto delle imprese, si colloca nel settore dell’Information Technology proponendosi come obiettivo quello di fornire una vasta gamma di prodotti, servizi e soluzioni nelle aree più strategiche per l’impresa, come: Infrastrutture IT, Content Management, ERP, Business Intelligence, CRM, Web Applications, è alla ricerca di un: Data Engineer ambito Big Data con almeno 3 anni di esperienza Responsabilità: Sviluppare e mantenere pipeline di ingestion CDC dai database sorgente verso il layer Bronze, tramite connettori Debezium/Confluent, garantendo zero data loss ed extract-once. Realizzare ed evolvere i flussi di elaborazione tra i layer Bronze → Silver → Gold con Apache Spark/Spark Streaming in Python (PySpark) e con Apache NiFi (processori e script Groovy). Gestire le tabelle in formato Apache Iceberg su storage Ozone, incluse evoluzioni di schema (DDL) e ottimizzazioni. Configurare e gestire topic Kafka, offset e code di dead-letter (DLQ): analisi,



reprocessing e alerting sui messaggi in errore. Implementare monitoraggio, alerting e tuning delle pipeline (salute dei flussi, latenza, volumi, soglie). Applicare gli standard di progetto: naming convention, tracciabilità, data lineage, accessi e visibilità sui data tier. Contribuire alle attività di testing, versionamento e pipeline CI, oltre alla documentazione tecnica. Supportare le fasi di migrazione dei flussi attraverso gli ambienti (Test → Collaudo → Produzione Competenze tecniche: Esperienza nello sviluppo di pipeline di Data Engineering. Conoscenza delle architetture Data Lake e Lakehouse. Esperienza con paradigmi di Change Data Capture (CDC) e gestione di flussi dati in tempo reale. Conoscenza di Apache Spark per l'elaborazione distribuita dei dati. Esperienza con Apache Kafka e architetture event-driven. Conoscenza di Apache NiFi per l'orchestrazione dei flussi dati. Esperienza con formati t

📌 Data Engineer ambito Big Data (Italia)
🏢 Esprimo S. R. L.
📍 Italia

Candidati a questo annuncio

Mostra le tue capacità professionali all'azienda, compila il form e lascia un tocco personale nella lettera di presentazione, aiuterà il recruiter nella scelta del candidato.

Iscriviti a questa job alert:

Ricevi via email le nuove offerte di lavoro per: data engineer ambito big data (italia) / italia

Iscriviti a questa job alert:

Ricevi via email le nuove offerte di lavoro per: data engineer ambito big data (italia) / italia