22 nov
|
altermAInd
|
Milano
Chi siamo
? altermAInd è una società AI-Native che opera nella transizione verso l’impresa post-routine: un modello organizzativo dove intelligenza umana e agenti AI collaborano per costruire aziende più fluide, veloci e adattive. Per noi l’AI non è un semplice tool, ma una nuova infrastruttura operativa. Lavoriamo per aiutare organizzazioni e persone a ripensare processi, flussi di lavoro e modelli decisionali attraverso sistemi AI, agenti, automazioni e nuove modalità collaborative. Sperimentiamo direttamente su noi stessi ciò che proponiamo ai clienti: prototipiamo, iteriamo e riprogettiamo continuamente il nostro modo di lavorare per costruire un’organizzazione realmente AI-native. La posizione Progetterai e industrializzerai soluzioni dati su Azure Databricks, presidiando l’intero ciclo di vita: architettura Lakehouse, ingestion, trasformazione, orchestrazione, governance, data serving e messa in produzione. Cerchiamo una figura hands-on con conoscenza trasversale della piattaforma Databricks, capace di operare in ambienti enterprise e abilitare workload analytics e AI, non un profilo circoscritto allo sviluppo di notebook. Di cosa ti occuperai Data engineering e architetture Lakehouse
• Progettare e implementare pipeline ETL/ELT batch, incrementali e near-real-time su Azure Databricks.
• Ingerire e integrare dati da database relazionali, API, file, ADLS Gen2 e sistemi enterprise, preservando contratti e tracciabilità.
• Sviluppare trasformazioni scalabili con Python, PySpark e SQL, sfruttando Apache Spark e tabelle Delta Lake.
• Progettare livelli di dato bronze/silver/gold, data model, CDC, storico e gestione dell’evoluzione degli schemi. Lakeflow, orchestrazione e industrializzazione Databricks
• Realizzare flussi di ingestion, trasformazione e orchestrazione tramite Lakeflow Connect, Auto Loader, Lakeflow Spark Declarative Pipelines (ex Delta Live Tables) e Lakeflow Jobs.
• Sviluppare componenti riutilizzabili, parametrizzabili, idempotenti e facilmente testabili, evitando logiche confinate in notebook ad hoc.
• Organizzare dipendenze, scheduling, retry, alerting, backfill e recovery dei processi dati.
• Industrializzare i rilasci dev/test/prod con Git, test automatici, Databricks CLI, CI/CD e Declarative Automation Bundles (ex Asset Bundles). Databricks platform, workspace e data serving
• Presidiare il setup e la configurazione operativa di workspace, ambienti, compute, policy, permessi e integrazioni Azure, in collaborazione con i team di platform e security.
• Abilitare la fruizione dei dati tramite Databricks SQL, SQL Warehouses, viste, interfacce di accesso e integrazioni con strumenti BI e applicazioni.
• Conoscere e utilizzare le principali capability di governance, collaborazione e condivisione dei dati della piattaforma, incluse Unity Catalog e Delta Sharing.
• Valutare le opportunità di integrazione con le funzionalità Databricks per analytics, ML/AI e applicazioni generative, garantendo dataset affidabili e riutilizzabili. Data quality, governance e sicurezza
• Definire controlli su completezza, accuratezza, unicità, freschezza e coerenza dei dataset, con metriche e soglie operative.
• Applicare Unity Catalog per cataloghi, permessi, lineage, controlli di accesso, audit e governance di dati e asset.
• Gestire PII, segregazione dei dati,
secret management e controlli di accesso coerenti con i requisiti enterprise.
• Documentare sorgenti, trasformazioni, data contract, ownership e modalità di utilizzo dei dataset. Integrazione con AI e delivery enterprise
• Predisporre dataset e interfacce dati per applicazioni AI, RAG, document intelligence e workflow agentici.
• Integrare, dove rilevante, output strutturati di Parsec e servizi applicativi collegati a Gravity e Momentum.
• Lavorare con team IT, security e data owner dei clienti su prerequisiti, accessi, deploy e test end-to-end.
• Supportare SIT/UAT, go-live, handover e riuso delle componenti nelle successive iniziative. Competenze tecniche richieste Databricks a 360° | piattaforma, governance e operatività
• Esperienza comprovata su Azure Databricks in produzione, con conoscenza end-to-end della piattaforma: workspace, ambienti, compute, cluster e serverless, configurazioni e integrazioni.
• Conoscenza pratica dello stack Lakeflow (Connect, Jobs, Spark Declarative Pipelines), di Auto Loader e delle modalità di ingestion e orchestration.
• Conoscenza solida di Unity Catalog: cataloghi, schema, privilegi, lineage, external locations, accessi e principi di governance, sicurezza e condivisione.
• Esperienza con Databricks SQL e SQL Warehouses, data serving, Spark UI, query monitoring e troubleshooting della piattaforma. Spark, Delta Lake e progettazione delle pipeline
• Ottima padronanza di Python, PySpark, SQL e dell’elaborazione distribuita Apache Spark, con esperienza di ottimizzazione dei job.
• Esperienza con Delta Lake: tabelle ACID, MERGE, CDC, schema evolution e gestione efficiente di dati incrementali. Data architecture & enterprise integration
• Progettazione di pipeline ETL/ELT affidabili, data model relazionali e pattern Lakehouse/medallion.
• Esperienza di integrazione con database, storage cloud, API e formati Parquet, JSON e CSV.
• Capacità di gestire CDC, idempotenza, deduplica, data validation, backfill e qualità del dato. Azure integration & software engineering
• Conoscenza di Azure Data Lake Storage Gen2, Microsoft Entra ID, identità applicative, secret management, accessi allo storage e networking aziendale.
• Capacità di predisporre ambienti, sicurezza e permessi in collaborazione con architetture IT, team platform, security e data governance del cliente.
• Git, code review, packaging Python, testing automatizzato e processi CI/CD per progetti dati.
• Capacità di realizzare runbook, logging, monitoraggio e documentazione per l’esercizio in produzione. Competenze preferenziali Esperienza approfondita di streaming e CDC su larga scala, Auto Loader avanzato, Spark Structured Streaming, Event Hubs o Kafka.
• Automazione avanzata della piattaforma con Terraform, Azure DevOps/GitHub Actions, multi-workspace deployment e Infrastructure as Code.
• Esperienza operativa con MLflow, Databricks Model Serving, Databricks AI Search, Feature Engineering e dati per sistemi RAG/GenAI.
• Esperienza con dati non strutturati, OCR, documenti, Lakebase Postgres e pipeline di normalizzazione/arricchimento.
• Certificazioni Databricks (es. Data Engineer Professional), conoscenza di GDPR, audit, data retention e settori regolamentati. Competenze Trasversali
• Mentalità da software engineer e competenza Databricks trasversale: qualità, riusabilità, testing e ownership operativa, non solo sviluppo di notebook.
• Capacità di comprendere il significato del dato e di confrontarsi con data owner, business e architetti.
• Autonomia nel diagnosticare problemi di integrazione e performance in ambienti enterprise complessi.
• Pragmatismo nel bilanciare delivery, affidabilità, governance e costo di esercizio.
• Buona conoscenza dell’inglese tecnico e attitudine alla collaborazione diretta con i team dei clienti. Esperienza attesa Indicativamente 3+ anni in Data Engineering o Data Platform Engineering, con almeno 2–3 anni di esperienza concreta su Databricks in produzione e visione complessiva del relativo ecosistema. Esperienza desiderata su Azure enterprise, dalla progettazione e sviluppo fino a governance, performance e conduzione operativa, con ownership tecnica e interlocuzione diretta con il cliente. Il profilo ideale Un risorsa Data Engineer senior che conosca Azure Databricks a 360°: non solo PySpark e pipeline, ma anche architettura Lakehouse, orchestrazione, Unity Catalog, SQL, governance, monitoring, costi e integrazione con il resto dell’ecosistema dati e AI. Una figura hands-on con capacità di costruire, mettere in produzione e mantenere soluzioni enterprise affidabili. Cosa offriamo? ✅ Una realtà innovativa che cresce rapidamente, da costruire insieme. ✅ Progetti all’avanguardia nel mondo dell’Intelligenza Artificiale. ✅ Crescita professionale: collaborazione con esperti di infrastruttura, automation, networking e design. ✅ Ambiente vivace e flessibile, con un sistema di Flexible Benefits completo e integrato. Retribuzione In conformità al D.lgs. n. 96/2026 in attuazione della direttiva (UE) 2023/970, per la posizione ricercata:
• è applicato il Contratto Collettivo Nazionale del Lavoro per i Dipendenti del credito
• la Retribuzione Annua Lorda di riferimento è compresa fra 35.000 euro e 45.000 euro
• la collocazione all'interno della fascia retributiva di riferimento sopra indicata viene determinata in fase di definizione dell'offerta in modo trasparente e coerente rispetto al profilo professionale della persona selezionata. Non saranno, in ogni caso, richieste informazioni sulla retribuzione percepita nell'attuale o nei precedenti rapporti di lavoro.
• Retribuzione variabile legata ai risultati, Welfare, Flexible Benefits e buoni pasto completano il pacchetto. Sede e requisiti di lavoro ? Sede di lavoro: Milano. Il ruolo prevede presenza in sede secondo le nostre modalità di lavoro ibrido e non è disponibile in modalità full remote dall'estero. ? È richiesto il possesso dei requisiti per lavorare in Italia (cittadinanza UE oppure permesso di soggiorno valido che consenta l'attività lavorativa). L'offerta di lavoro è rivolta a tutte le candidature di entrambi i sessi, ai sensi delle Leggi 903/77 e 125/91, e a persone di tutte le età e nazionalità, ai sensi dei Decreti Legislativi 215/03 e 216/03.
📌 Data Engineer (Milano)
🏢 altermAInd
📍 Milano