Ingénieur Data Azure / Data Engineer H/FDirect Emploi

Au sein d'une Direction des Services Socles et Poste de Travail, vous intervenez sur une plateforme Data centralisant de multiples sources d'information liées à la gestion des actifs informatiques, aux identités numériques, aux référentiels d'entreprise et aux données de gestion.
Ces données sont consolidées au sein d'un Data Warehouse Cloud Azure afin de produire des indicateurs décisionnels, des tableaux de bord Power BI et des reportings destinés aux différentes directions métiers.
Les principaux usages concernent notamment :
Le pilotage des services internes ;
Le suivi de la consommation et de la facturation des offres de services ;
L'aide à la décision ;
Le suivi des projets et déploiements ;
L'historisation des données ;
L'amélioration de la gouvernance des actifs IT.
Missions principales :
Dans le cadre de l'évolution et de l'industrialisation de la plateforme Data, vous intervenez en tant qu'Ingénieur Data avec une forte dimension DevOps.
Data Engineering & Supervision
Concevoir, développer et maintenir des pipelines de traitement de données sur Azure Databricks.
Développer des notebooks PySpark permettant l'alimentation des couches Bronze, Silver et Gold selon l'architecture Médaillon.
Exploiter et optimiser les formats de données Parquet, Delta Lake et CSV.
Garantir la qualité, la performance et la fiabilité des traitements.
Optimiser les jobs existants afin de réduire les temps d'exécution et les coûts d'exploitation.
Mettre en place et maintenir les dispositifs de supervision et de monitoring des flux de données.
Assurer le suivi de la qualité des données et la gestion des alertes.
Participer à la résolution d'incidents et à l'amélioration continue de la plateforme.
Collaborer avec les équipes métiers et techniques afin de comprendre les besoins et proposer des solutions adaptées.
DevOps & Infrastructure Cloud
Participer à l'administration et à l'évolution de l'infrastructure cloud Azure.
Maintenir et faire évoluer les infrastructures as code via Terraform.
Développer et maintenir les pipelines de déploiement sous Jenkins.
Contribuer aux processus CI/CD et aux bonnes pratiques d'industrialisation.
Réaliser des revues de code et participer à la gestion des dépôts GitHub.
Contribuer à l'automatisation des déploiements et à l'amélioration des standards techniques.
Environnement technique :
Technologies & environnement technique
- Cloud & data platform : Azure, Databricks, Azure Data Factory, Azure Storage Account, Azure Key Vault, Power BI.
- Infra & CI/CD : Terraform, Jenkins, GitHub (PR/MR, workflows), intégration runtime via VM.
- Langages & frameworks : Python, PySpark (DataFrame API, Spark SQL), SQL.
- Formats & data : parquet, delta, csv…
- Librairies Python courantes :
o pyspark (transformations, jointures, agrégations, optimisations).
o delta-spark et librairies Delta Lake pour la gestion des tables (ACID, time travel, optimisation).
o Packages Azure (azure-identity, azure-keyvault-secrets, azure-storage-blob, etc.) pour l'intégration avec les services cloud.