Data engineer

Identifier les besoins en architecture de gestion de données en analysant la problématique métier, le fonctionnement de l’organisation et l’ensemble de ses flux de données afin de valider l’opportunité de développement d’un projet d’architecture.

Élaborer et exercer un système de veille technologique et réglementaire dédié au domaine du numérique en recensant des sources vérifiées et en menant une analyse des informations récoltées en vue d’identifier les cas d’usages et les évolutions technologiques et réglementaires à intégrer dans son activité professionnelle.

Exploiter la veille, au sein de son organisation, en remettant en cause ses pratiques à l'aulne des évolutions et en diffusant les informations aux interlocuteurs adéquats dans le but d’informer, de sensibiliser et de faire adhérer ses collaborateurs et sa hiérarchie aux bonnes pratiques et au respect des normes réglementaires.

Définir le périmètre du projet de gestion données en formalisant les besoins, les objectifs, les contraintes et les risques ainsi qu’en identifiant les sources de données, les spécifications techniques et fonctionnelles, et les enjeux d’accessibilité, réglementaires, écologiques et éthiques impliqués afin d’assurer son inclusivité, limiter son impact écologique et préparer sa mise en œuvre.

Émettre des recommandations auprès de sa hiérarchie et de membres d’une équipe pluridisciplinaire, en présentant les axes de développement de la solution, en défendant ses propositions et en adaptant sa communication à ses interlocuteurs afin que les propositions soient compréhensibles par l’ensemble des équipes et qu’elles puissent ainsi contribuer au projet.

Mise en situation professionnelle : dans le cadre d’un projet sur la base d’un dossier documentaire, le candidat devra identifier les besoins en architecture, élaborer un système de veille en lien avec le projet, formaliser son périmètre et émettre des recommandations d’architecture. 

Livrable écrit : 

• Rapport préliminaire 
• Système de veille, rapport d’analyse 
• Cahier des charges 
• Rapport explicitant les recommandations 

Collecter les données structurées et non structurées de diverses sources utilisables pour le projet d’architecture via la programmation de scripts et dans le respect du cadre réglementaire et des procédures garantissant la sécurité des données, des réseaux et des systèmes afin de préparer les étapes de transformation et de stockage des données.

Élaborer des solutions de stockage en créant et structurant les bases de données relationnelles et/ou non-relationnelles (SQL, noSQL) le tout, dans le respect des procédures garantissant la sécurité des données, des réseaux et des systèmes afin de consolider le processus de stockage des données de la solution.

Concevoir les procédures d’extraction, de traitement et de stockage des données de l’architecture en schématisant les données de référence et les interactions attendues entre elles puis en définissant chaque étape d’extraction, de transformation et de chargement tout en assurant l’application de protocoles garantissant la sécurité des données, des réseaux et des systèmes et limitant l’impact écologique de la solution.

Transformer les données en un format approprié pour l’analyse en nettoyant les jeux de données et en y appliquant des modifications à l’aide d’outils dédiés afin de rendre les données disponibles et exploitables dans leur forme et leur contenu.

Analyser les données en s’appuyant sur des méthodes et outils d’analyse statistique et de visualisation de données afin d'évaluer l’intégrité et la qualité des données et de présenter les résultats issus de l’analyse aux parties prenantes du projet et aux utilisateurs finaux de la solution.

Automatiser les circuits de collecte, de traitement et de stockage des données en s’appuyant sur l’architecture élaborée, en exploitant des outils dédiés, et en testant le processus d’automatisation en vue d’assurer l’opérationnalité de la solution technique.

Développer un algorithme d’intelligence artificielle en utilisant des méthodes et outils d’apprentissage supervisé et/ou non supervisé dans le respect des principes éthiques et de frugalité en vue d’intégrer des composants d’intelligence artificielle à la solution technique de gestion de données.

Etude de cas : à partir d’un dossier documentaire, le candidat devra élaborer une architecture technique de gestion de données dans le respect de la réglementation et des exigences en termes de sécurité tout en limitant l’impact écologique de la solution.

Livrable écrit : 

• Explicitation des procédures d’extraction, de traitement et de stockage
• Base de données implémentée
• Modélisation des données
• ETL et rapport détaillant la configuration et les résultats
• Présentation et justification des algorithmes d’intelligence artificielle intégrés à l’architecture

Concevoir une interface de programmation entre les composants de la solution, en utilisant les API et les langages de programmation appropriés dans le respect des exigences de sécurité afin de préparer le déploiement de la solution d'analyse de données intégrant l'intelligence artificielle.

Conteneuriser les composants de l'architecture en créant des images (virtualisation) pour chacun d’eux, en configurant les conteneurs en prévoyant des mécanismes de gestion d'erreur et les mesures de sécurité appropriées pour protéger les conteneurs contre les vulnérabilités et les accès non autorisés.

Déployer le modèle dans un environnement de production en implémentant le modèle dans le système via des librairies dédiées dans l’optique de le rendre opérationnel dans le respect des spécifications fonctionnelles et des bonnes pratiques du domaine.

Orchestrer les services de la solution en implémentant un processus de gestion et de coordination des composants du système afin de garantir l’exécution fluide et efficace de l’ensemble de l’architecture et de créer une solution évolutive, capable de résoudre des problèmes complexes et de fournir des résultats fiables.

Contrôler la mise en production de la solution grâce à des tests unitaires afin d’assurer l’opérationnalité de la solution et vérifier sa conformité quant aux spécifications établies lors de la constitution du cahier des charges.

Automatiser le déploiement de nouvelles versions de la solution et son monitoring notamment concernant l'évolution de ses données à l'aide d’un outil de continuous Integration (CI/CD) permettant de surveiller efficacement l'ensemble du processus, de prévenir toute dégradation des performances et d’assurer la durabilité de la solution.

Etude de cas :  à partir d’un cas réel ou fictif, le candidat devra déployer une solution d’analyse de données massives intégrant l’intelligence artificielle. Le candidat devra ensuite orchestrer les services de la solution, contrôler la mise en production et automatiser le déploiement de nouvelles versions.   

Livrable écrit :  Présentation de chaque étape, justifiant les choix techniques et le respect du cadre réglementaire :  

• Présentation de la configuration de l’interface de programmation
• Image du conteneur par composant
• Scripts de déploiement et d’orchestration
• Scripts / configuration d’automatisation (CI/CD)
• Script des tests unitaires
• Solution configurée

Définir la structure organisationnelle du projet d'architecture technique de gestion de données en planifiant les différentes étapes du projet et en identifiant les parties prenantes à intégrer, ceci en prenant en compte les situations de handicap afin que le projet bénéficie d’un mode de gouvernance rationalisé et d’un outil de pilotage répondant aux exigences du cahier des charges.

Encadrer le développement du projet d’architecture de données via des méthodes de gestion d’équipe et de projet agiles, en prenant en considération les situations de handicap afin de manager les acteurs du projet, d’assurer son inclusivité et de monitorer les avancées.

Gérer le budget du projet en contrôlant régulièrement les dépenses afin d’identifier les écarts avec le budget prévisionnel et, le cas échéant, de prendre des mesures correctives permettant de respecter les contraintes financières du projet.

Communiquer l’avancement et les résultats du projet auprès des parties prenantes et de sa hiérarchie en effectuant des reportings réguliers afin de diffuser l’information permettant la prise de décision et l’implication de l’ensemble des équipes.

Evaluer la performance du projet de Data Engineering via des métriques adaptées au contexte et des outils d’analyse afin d’identifier des axes d’amélioration basés sur l’analyse des KPI, des retours d’expériences utilisateurs et de garantir ainsi une optimisation continue du projet.

Former les utilisateurs finaux de la solution en concevant et déployant un plan d’accompagnement anticipant les chantiers de transformation dans le but d'assurer la transition et optimiser l’adoption et l’utilisation de la solution par tous les utilisateurs concernés.

Mise en situation professionnelle : sur la base d’un projet d’architecture de données, le candidat devra définir la structure organisationnelle du projet. Le candidat coordonnera ses actions avec les autres membres de son équipe en vue de définir les modalités d’organisation.

Le candidat devra soumettre les éléments suivants :

• Livrable écrit :
  • Un rapport détaillant les modalités de mise en œuvre et d’optimisation du projet
  • Un plan d’accompagnement 
• Présentation orale dudit projet via la simulation d’un reporting auprès de sa hiérarchie

Etude de cas : sur la base de données d’un projet, le candidat devra mener une analyse des données en vue d’identifier les écarts budgétaires entre les dépenses réelles et le budget prévisionnel, en évaluant les raisons possibles de ces écarts.  Le candidat devra identifier et argumenter des mesures correctives permettant de réduire les écarts constatés.

• Livrable écrit :
  • Analyse financière
  • Mesures correctives proposées