Data Engineer

Pour le compte d'un client du secteur des mines, nous sommes à la recherche d'un Data Engineer qui aura pour missions :

• Développer, maintenir et améliorer les pipelines de données pour collecter, stocker et traiter efficacement de grandes quantités de données provenant de différentes sources
• Concevoir et mettre en œuvre des solutions pour l'intégration, la transformation, le nettoyage et l'agrégation de données, en assurant la qualité et la cohérence des données
• Travailler en étroite collaboration avec les équipes de développement logiciel, les analystes de données et les scientifiques des données pour comprendre les exigences métier et fournir des solutions adaptées
• Gérer et optimiser les bases de données et les entrepôts de données pour assurer la performance, la fiabilité et l'évolutivité
• Développer des outils et des frameworks pour automatiser les tâches de gestion et de surveillance des données
• Identifier et résoudre les problèmes de performance, de qualité des données et de sécurité
• Effectuer une veille technologique pour rester à jour sur les meilleures pratiques et les nouvelles technologies dans le domaine du traitement des données
• Collaborer avec les équipes de sécurité pour garantir la conformité aux normes de sécurité et de confidentialité des données
• Participer à des projets d'analyse de données avancées et de machine learning en fournissant un soutien technique et en contribuant à l'architecture des solutions.

• Diplôme universitaire en informatique, en génie logiciel, en sciences des données ou dans un domaine connexe
• Expérience professionnelle pertinente dans le développement de solutions de traitement de données, de préférence dans un environnement cloud (AWS, Azure, Google Cloud, etc.)
• Certification ou formation supplémentaire dans les technologies de traitement de données et les bases de données est un plus
• Expérience dans le développement et la maintenance de pipelines de données à l'aide d'outils tels qu'Apache Spark, Hadoop, Apache Kafka, Apache Airflow, etc
• Maîtrise des bases de données relationnelles (SQL) et des bases de données NoSQL
• Connaissance des concepts et des techniques de modélisation de données et d'architecture de données
• Capacité à travailler avec des systèmes de gestion de version tels que Git
• Fortes compétences analytiques et capacité à comprendre les besoins métier.