30 set - Italia
Dacomat
DevOps & Data Engineer – Full Remote
Dacomat ricerca un DevOps & Data Engineer da inserire stabilmente all’interno di un team dedicato alla gestione di piattaforme cloud, pipeline dati e soluzioni di Machine Learning.
La figura avrà un ruolo operativo e trasversale tra DevOps, Data Engineering e MLOps.
Si occuperà principalmente dell’infrastruttura e dei servizi sui quali vengono eseguite le data pipeline, supportando il team Data Science nella costruzione, validazione e messa in produzione dei modelli di Machine Learning.
Cerchiamo un professionista autonomo, capace di intervenire direttamente sulle pipeline CI/CD, sull’infrastruttura AWS e sui componenti applicativi sviluppati in Python
Principali attività
- Gestione e manutenzione dell’infrastruttura cloud utilizzata dalle data pipeline.
- Analisi, gestione ed evoluzione di pipeline CI/CD complesse tramite GitLab.
- Automazione del provisioning infrastrutturale attraverso Terraform, OpenTofu e AWS CloudFormation.
- Sviluppo e manutenzione di componenti object-oriented in Python.
- Realizzazione e manutenzione di test automatici.
- Gestione e troubleshooting di pipeline ETL e processi di elaborazione dati.
- Utilizzo di SQL per interrogazione, verifica e trasformazione dei dati.
- Configurazione e gestione dei principali servizi AWS impiegati dalla piattaforma.
- Supporto al team Data Science nella costruzione e validazione dei modelli di Machine Learning.
- Automazione del deployment dei modelli in contesto di produzione.
- Implementazione di controlli e processi di Data Quality.
- Monitoraggio di applicazioni,
pipeline e infrastrutture.
- Analisi e risoluzione di problematiche applicative e infrastrutturali.
- Collaborazione con Data Engineer, Data Scientist e team applicativi.
Competenze richieste
- Esperienza concreta nella gestione di pipeline complesse con GitLab CI/CD.
- Esperienza con strumenti Infrastructure as Code, in particolare Terraform oppure OpenTofu.
- Conoscenza di AWS CloudFormation.
- Buona autonomia nello sviluppo object-oriented in Python.
- Esperienza nella scrittura di test automatici, preferibilmente con pytest o unittest.
- Buona conoscenza di SQL.
- Conoscenza dei principali processi e delle architetture ETL.
- Esperienza sulla piattaforma AWS.
- Conoscenza di IAM e dei principali meccanismi di gestione di ruoli, policy e autorizzazioni.
- Esperienza con servizi AWS come Lambda, Athena, Glue, RDS, EC2, S3, MWAA/Airflow e Step Functions.
- Conoscenza di processi e framework di Data Quality, preferibilmente Great Expectations.
- Conoscenza del ciclo di vita dei modelli di Machine Learning.
- Conoscenza di Kubernetes.
- Conoscenza di OpenTelemetry.
Profilo ricercato La figura ideale possiede un’esperienza equilibrata tra DevOps e Data Engineering. Non cerchiamo un Data Engineer esclusivamente focalizzato sullo sviluppo delle pipeline né un DevOps privo di esperienza con dati, SQL e Python.
La persona dovrà essere in grado di comprendere l’intero processo: dall’infrastruttura cloud e dall’automazione CI/CD fino all’esecuzione delle pipeline dati e al deployment dei modelli di Machine Learning.
02 ott - Italia
Business Pool
02 ott - Savona
HealthAid
02 ott - Genova
Uniroma2
02 ott - Macerata
Immas