Développeur Big Data (IT)Free-Work

Contexte de la mission :
Le client, dans le cadre du développement et de la maintenance de sa plateforme Big Data, recherche un Développeur Big Data expérimenté (H/F) avec au moins 5 ans d'expérience en environnement Data. La mission se déroule au sein de l'équipe Big Data, chargée de l'alimentation, de l'évolution et de l'optimisation du Data Lake sous Cloudera Hadoop. L'objectif principal est de concevoir, faire évoluer et maintenir les traitements d'alimentation pour assurer la qualité, la performance et la maintenabilité des solutions.
Le consultant intervient dans un contexte de production exigeant, avec de forts enjeux de fiabilité et de respect des délais.
Missions principales :
Développement & évolution du Data Lake :
Gérer les évolutions des flux et des données à intégrer
Faire évoluer les développements existants d'alimentation
Maintenir les traitements d'ingestion et de transformation
Concevoir des extractions de données pour répondre aux besoins métiers
Stack technique : Cloudera Hadoop, Hive, Impala, Spark, Python, SQL, Shell, Linux, VBA, Jupyter
Expertise technique & structuration :
Rédaction des spécifications techniques
Fourniture de requêtes SQL de référence
Revue de code
Structuration et pilotage via JIRA
Documentation des processus et accompagnement des utilisateurs
Encadrement de profils juniors (alternants, stagiaires)
Performance & optimisation :
Optimiser les traitements et requêtes
Améliorer la performance et l'exploitabilité
Contribuer à la maintenabilité globale
Réaliser du reverse engineering dans une architecture héritée complexe
Support & accompagnement :
Assurer le support de niveau 2
Faire respecter les bonnes pratiques
Communiquer clairement avec différents interlocuteurs (développeurs, utilisateurs, clients)
Gouvernance & conformité :
Veiller au respect des modèles de données
Collaborer avec la Direction Technique et la Gouvernance de la Donnée pour faire évoluer les standards