Critères de l'offre
Métiers :
- Data Engineer (H/F)
Expérience min :
- 6 à 21+ ans
Lieux :
- Lyon (69)
Conditions :
- CDI
- Salaire non précisé
- Temps Plein
Description du poste
Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer Senior pour intervenir sur la conception, l'industrialisation et l'optimisation de traitements de données dans un environnement Azure.
Vous travaillerez principalement sur Databricks, PySpark et Azure Data Factory, avec une dimension complémentaire autour de l'automatisation, du CI/CD et de l'infrastructure cloud.
Vos missions
- Concevoir, développer et enchaîner des notebooks Databricks en PySpark ;
- Alimenter et maintenir les différentes couches Bronze, Silver et Gold ;
- Manipuler et optimiser les formats Parquet, Delta et CSV ;
- Améliorer les performances, la qualité et les coûts des traitements existants ;
- Superviser les flux et pipelines Azure Data Factory, mettre en place des alertes et contribuer à la reprise sur incident ;
- Fiabiliser et industrialiser les traitements Data dans un environnement de production ;
- Faire évoluer les configurations et infrastructures via Terraform ;
- Maintenir et exécuter les pipelines Jenkins liés aux déploiements et traitements Data ;
- Contribuer aux repositories Git : gestion des branches, revues de code, workflows et bonnes pratiques CI/CD ;
- Accompagner les équipes métiers et techniques dans la compréhension des besoins et la priorisation des évolutions ;
- Participer à des études d'opportunité, sujets de conseil et dossiers d'innovation.
Vous travaillerez principalement sur Databricks, PySpark et Azure Data Factory, avec une dimension complémentaire autour de l'automatisation, du CI/CD et de l'infrastructure cloud.
Vos missions
- Concevoir, développer et enchaîner des notebooks Databricks en PySpark ;
- Alimenter et maintenir les différentes couches Bronze, Silver et Gold ;
- Manipuler et optimiser les formats Parquet, Delta et CSV ;
- Améliorer les performances, la qualité et les coûts des traitements existants ;
- Superviser les flux et pipelines Azure Data Factory, mettre en place des alertes et contribuer à la reprise sur incident ;
- Fiabiliser et industrialiser les traitements Data dans un environnement de production ;
- Faire évoluer les configurations et infrastructures via Terraform ;
- Maintenir et exécuter les pipelines Jenkins liés aux déploiements et traitements Data ;
- Contribuer aux repositories Git : gestion des branches, revues de code, workflows et bonnes pratiques CI/CD ;
- Accompagner les équipes métiers et techniques dans la compréhension des besoins et la priorisation des évolutions ;
- Participer à des études d'opportunité, sujets de conseil et dossiers d'innovation.
Référence : 2688360

