Data engineer

Analyser les besoins en intégrant les ressources disponibles, les contraintes, les risques afin de proposer une solution correspondant à la demande du client 

Analyser le besoin de protection des données en mesurant leur sensibilité afin de définir une politique de sécurité et une gouvernance du Système d’Information (SI)

Identifier et mesurer les risques liés à la protection juridique de l’entreprise et de ses parties prenantes en respectant la législation des pays concernés en matière de chiffrement, détention, transit, domiciliation des prestataires afin de diminuer les risques de conflit avec une juridiction ou entre deux juridictions

Rédiger les cahiers des charges fonctionnel et technique de manière accessible en se basant sur l’analyse des besoins validée par le client, afin de spécifier les caractéristiques de la solution à développer ou à adapter

Concevoir l’architecture sécurisée de la solution à développer ou à adapter en se basant sur les différents cahiers des charges en vue de proposer un système opérationnel de gestion de données massives

Conduire et réaliser le développement ou l’adaptation d’une solution en ayant recours aux langages de programmation et aux technologies de base de données les plus adaptés et en garantissant la conformité aux cahiers des charges afin de livrer un système opérationnel, sécurisé, accessible, destiné à collecter, nettoyer, traiter, stocker et exploiter des données

Réunir et coordonner des compétences spécialisées nécessaires au développement de la solution en mettant en oeuvre les bonnes pratiques de gestion d’équipe, de gestion de projet et de prise en compte des éventuelles situations de handicap

Réaliser des tests en se basant sur des jeux de données et valider le bon fonctionnement et la sécurité de la solution développée ou adaptée en conformité avec les attentes du client

Modalité d’évaluation des compétences 1 à 4 : Mise en situation d'analyse des besoins du client et rédaction du cahier des charges fonctionnel et du cahier des charges technique.

Le candidat (seul) doit, à partir d’une demande émanant d’un client réel ou fictif et présentant : 

• l'entreprise, 
• le contexte, 
• la problématique à résoudre, 
• les ressources disponibles, 
• …

fournir un dossier dans lequel il devra : 

1 - Lister et hiérarchiser dans un document, les besoins, les ressources et les contraintes du client

2- Identifier les menaces/risques (techniques et juridiques) et les besoins de protection des données 

3- Proposer une évolution de la politique de sécurité et de la gouvernance du SI

4- Rédiger en respectant les normes d'accessibilité les cahiers des charges fonctionnel et technique correspondant aux besoins et contraintes du client 

Modalité d’évaluation des compétences 5 à 8 : Mise en situation de développement ou d'adaptation d'une solution.

Le candidat (en équipe) doit à partir d’un cahier des charges technique fourni par un client réel ou fictif :

1- Définir le schéma général de la solution permettant de collecter, nettoyer, traiter, stocker et exploiter des données de façon sécurisée

2 -Définir et mettre en oeuvre la méthodologie de projet et les modalités de pilotage 

3- Définir un plan d’action incluant les jalons et répartir les missions en fonction des profils des membres de l’équipe en prenant en compte les éventuelles situations de handicap

4 - Développer ou adapter la solution préconisée dans le cahier des charges technique en utilisant les langages et les technologies de bases de données adaptés (la solution est respectueuse des normes d’accessibilité de type RGAA).

5 - Réaliser des tests pour vérifier et valider les fonctionnalités et la sécurité de la solution retenue correspondant aux spécifications du cahier des charges technique.

Chaque membre de l’équipe rédige un rapport qu’il présente individuellement lors d’une soutenance devant un jury de deux personnes représentant le client. Le rapport présente les éléments suivants, leur justification et leur analyse critique et personnelle : 

- le schéma général de la solution sécurisée

- la méthodologie de projet choisie,

- les modalités de pilotage et les décisions majeures prises tout au long du projet, les difficultés rencontrées et les solutions mises en oeuvre

- le plan d’action et sa mise en oeuvre,

- la solution développée ou adaptée, 

- les langages et technologies utilisées,

- les résultats des tests,

La présentation du rapport devant le jury intègre un temps de présentation et de démonstration du fonctionnement de la solution.

A la fin du rapport, le candidat réalise un bilan qui évalue la solution, son fonctionnement, sa sécurité au regard des tests et du  cahier des charges.

Contribuer à la rédaction d’une charte éthique (accessible à l’ensemble des collaborateurs) relative aux données manipulées, en déclinant les exigences sociétales et environnementales fixées par l'entreprise afin de respecter les engagements de celle-ci dans ces domaines

Collaborer à l’élaboration de la stratégie de transition data de l'entreprise, respectueuse de la charte éthique, en identifiant ses métiers et activités concernés, en définissant le périmètre du projet de transition, ses objectifs, ses étapes, ses délais, le budget requis et les indicateurs de réussite  afin de soutenir le développement de l’entreprise

Proposer des évolutions du système de données de l'entreprise, en modifiant sa structuration et ses modes d'accès, en définissant des indicateurs de mesure, pour améliorer sa mise à disposition et son exploitation par les utilisateurs

Piloter et mettre en place dans son champ d’expertise la transition data de l'entreprise en faisant évoluer des process, des métiers, des activités, afin d'optimiser leurs fonctionnements 

Planifier et gérer les projets relevant de la transition en définissant les objectifs, les indicateurs, les jalons, et les livrables, afin de respecter les délais convenus avec le client

Concevoir et mettre en exploitation des outils de suivi inclusifs à partir des données qu’il aura identifiées afin de piloter un projet pour détecter et corriger les écarts, les risques

Manager et assurer l’accompagnement des métiers et des acteurs de l’entreprise dans leur évolution en organisant ou contribuant à des actions de formation et d’acculturation accessibles afin de passer à une culture de la donnée respectueuse de la sécurité, du cadre juridique et de l’éthique

Évaluer le niveau d'adhésion des acteurs de l’entreprise à la démarche de transition data en mettant en place des indicateurs d’acceptation afin d'identifier d'éventuelles difficultés ou réticences 

Mettre en place un dispositif de veille juridique et technologique expert portant sur les champs de la Data, du Big Data, de l’IA et de la cybersécurité en identifiant les sources d’informations les plus pertinentes afin de faire évoluer le Système d’Information (SI) et les solutions Data mises en place 

Exploiter les informations issues de la veille juridique et technologique afin de proposer des évolutions du SI et de faire évoluer les solutions Data dont il a la responsabilité

Pour des raisons de faisabilité les différentes évaluations porteront sur la transition d’une activité ou d’un métier appartenant à une entreprise 

Modalité d’évaluation des compétences 1 à 3 : Mission de conseil de transition data d'une activité ou d’un métier.

Le candidat (travaillant seul) doit à partir d’un cas réel ou fictif rendre un dossier proposant une stratégie de transition data d'une activité/d'un métier contenant :

1- La mise à jour de la charte éthique (accessible) de l’entreprise 

2 - Les différents éléments de la stratégie de transition de l’entreprise portant sur une activité/un métier

3 - La proposition d'évolution coordonnée d'un système de données de l’entreprise pour améliorer sa mise à disposition et son exploitation dans le cadre de l'activité/du métier visé

Modalité d’évaluation des compétences 4 à 6 : Étude de cas consistant à planifier et piloter un projet de transition data.

Le candidat (travaillant seul) doit, à partir d’un cas réel ou fictif de transition d’une entreprise portant sur une activité ou un métier, rendre un dossier contenant : 

1 - Le plan d'action de la transformation data de l’activité ou du métier,

2 - Les éléments essentiels du projet (contexte, objectifs, indicateurs, jalons, et livrables),

3 - Une  planification, 

4 - Les outils de suivi (tableaux de bord et autres) accessibles aux acteurs (adaptés aux personnes en situation de handicap)

Modalité d’évaluation des compétences 7 et 8 : Étude de cas portant sur l'accompagnement et l'évaluation de l’adhésion des métiers et des acteurs à la transition data de l’entreprise.

Le candidat (travaillant seul) doit, à partir d’un cas réel ou fictif de transition de l'entreprise portant sur des métiers en lien avec une même activité, rendre un dossier contenant :

1- L’identification, la hiérarchisation des difficultés/réticences potentielles par métier 

2 - Le plan d'accompagnement des métiers en lien avec la transition intégrant les délais, les budgets et l’accessibilité

3 - La présentation et l’explication des indicateurs choisis pour mesurer l'adhésion à la démarche de transition des métiers

Modalité d’évaluation des compétences 9 et 10 : Mise en situation portant sur la mise en place et l'exploitation d'un système de veille portant sur la Data, le Big Data, l’IA, la cybersécurité

Le candidat (travaillant seul) doit rendre un dossier contenant :

1 - La présentation de son système de veille et de recueil de connaissances de pointe et la présentation de ses sources d’informations

2 - La sélection des informations récentes en lien avec les évolutions du SI et des solutions Data

3 - Leur hiérarchisation en fonction de leur impact sur le SI et les solutions data, 

4 - Des préconisations d’évolutions du SI et des solutions Data basées sur ces informations 

Mobiliser et coordonner les expertises techniques en utilisant les méthodes de conduite de projet et d’animation d’équipe, en prenant en compte des éventuelles situations de handicap, afin de mettre en oeuvre le déploiement ou l’industrialisation et la maintenance d’une solution de gestion de données

Déployer ou industrialiser une solution dans le respect du cahier des charges en mobilisant les ressources techniques, budgétaires, humaines et en tenant compte des contraintes pour mettre à disposition un système de collecte maintenable, robuste, scalable et pouvant gérer des données massives 

Mettre en place et superviser avec les services informatiques de l’entreprise, la protection de la solution et des données, en déployant les outils de sécurité, d’anonymisation, et en instaurant un mécanisme de supervision afin de consolider l'intégrité, la disponibilité, l'accessibilité, la confidentialité et la lisibilité des données 

Mettre en exploitation la solution en monitorant la charge et la performance pour permettre la collecte, le nettoyage, le traitement, le stockage et l’exploitation des données 

Attribuer et configurer les droits d’accès au système et aux données mises à disposition pour restreindre leur accessibilité aux personnes autorisées en se référant au cahier des charges du projet et à la politique de sécurité de l’entreprise

Evaluer la performance du système en effectuant des retours sur expérience par la collecte et la synthèse des informations relatives aux insuffisances et aux points d’amélioration potentiels en vue de son évolution

Conduire les évolutions du système en réponse aux points d'amélioration et insuffisances détectées lors de l’évaluation de ses performances afin de garantir un fonctionnement optimisé

Planifier et mettre en place une maintenance préventive du système de gestion de données afin d’assurer son bon fonctionnement et la disponibilité des données

Modalité d’évaluation des compétences 1 à 8 : Mise en situation portant sur le déploiement ou l'industrialisation et la maintenance d'une solution opérationnelle de gestion de données.

Le candidat (en équipe) doit à partir d'une solution de gestion de données (à déployer/industrialiser) tirée d’un cas réel ou fictif, d'un jeu de données, et du cahier des charges technique  :

1 - Définir un plan d’action incluant les modalités de pilotage du déploiement/industrialisation, une planification et une répartition des missions en fonction des expertises techniques des membres de l’équipe et en prenant en compte les éventuelles situations de handicap,

2 - Déployer la solution sur un serveur et y charger les données,

3 - Mettre en place des outils de sécurité de la solution et d’anonymisation des données et instaurer un mécanisme de supervision,

4 - Vérifier le bon fonctionnement de la solution et l'optimiser en prévision d’une montée en charge dans le respect des attentes du client

5 - Attribuer  les droits d’accès en fonction des besoins des utilisateurs, 

6 - Configurer les droits d’accès au système et aux données des personnes autorisées,

7 - Mesurer la performance du système et restituer visuellement les écarts positifs et/ou négatifs,

8 - Décider et mettre en oeuvre des améliorations du système basées sur la mesure des écarts de performance et les prescriptions du cahier des charges,

9 - Mettre en place une maintenance en installant et paramétrant des outils de surveillance et de gestion d’alerte et en choisissant des seuils d’alerte pertinents,

10 - Planifier un cycle de maintenance préventive, en indiquant le protocole de maintenance

Le candidat individuellement réalise une présentation documentée, argumentée et personnelle : 

- du plan d’action et des éléments qui le composent

- du système de gestion de données, 

- de son fonctionnement,  des éléments de sécurité mis en place, des droits d’accès, des performances du système, des améliorations mises en oeuvre, et du système de maintenance

à un jury de deux personnes représentant le client.

Le candidat conclut sa présentation par un bilan critique du projet.

Analyser expérimentalement les différents modèles d'Intelligence Artificielle/Machine Learning à travers des tests et des analyses statistiques afin de répondre aux besoins du client

Affiner le modèle d'Intelligence Artificielle/Machine Learning en cherchant les paramètres optimaux et en évaluant l’adéquation des modèles d’apprentissage avec le besoin exprimé afin de garantir ses capacités de prédiction

Déployer ou Industrialiser le modèle d'Intelligence Artificielle/Machine Learning à travers la mise en place des pipelines de données et dans le respect du cadre réglementaire pour garantir la qualité, la fiabilité, la rapidité et la scalabilité de la solution

Évaluer la performance du modèle d’Intelligence Artificielle/Machine Learning déployé ou industrialisé en se basant sur les métriques de référence afin d’optimiser ce modèle

Communiquer ses résultats au client (interne/externe) de façon accessible (datavisualisation) pour démontrer la performance du modèle d'Intelligence Artificielle/Machine Learning

Modalité d’évaluation des compétences 1 à 5 : Mise en situation portant sur la conception et la mise en œuvre d'un modèle d'IA/ML. 

Le candidat (seul), doit à partir d'une problématique, de données de test, et d'une série d'exigences, fournies par une entreprise fictive ou réelle : 

1 - Choisir le modèle d'IA/ML le plus adapté à la problématique en se basant sur des tests et des analyses statistiques et justifier son choix,

2 - Paramétrer le modèle pour qu'il traite le plus efficacement possible la problématique,

3 - Mettre en place la solution la plus pertinente et respectueuse du cadre réglementaire dans une perspective d'industrialisation,

4 - Mesurer la performance du modèle retenu et optimiser le modèle en fonction des résultats obtenus et des métriques de référence fournies par le client (performance du modèle, métriques métiers),

5 - Communiquer sur la solution de façon accessible à l'aide d'une datavisualisation et justifier ses choix à travers une présentation,

Le candidat présente sa solution de ML : 

 à un jury de deux personnes représentant le client (data visualisation et présentation) et justifie ses choix techniques par rapport aux besoins du client

Recueillir les besoins des utilisateurs/décideurs par un processus de questionnement afin d'identifier les données internes à collecter et exploiter

Identifier les données externes au moyen d'un système de veille afin de les intégrer ou de les croiser aux données internes.

Collecter des données structurées, ou non structurées, en mobilisant des sources variées en prévision de leur stockage et de leur exploitation

Stocker des données structurées, ou non structurées, dans une base de données, un data lake, ou un entrepôt de données, en garantissant leur sécurité afin de les mettre à disposition des différents utilisateurs/décideurs

Extraire les données identifiées d’une base de données, d’un data lake ou un d’entrepôt de données, à l’aide d’outils adaptés afin de les mettre à disposition des différents utilisateurs/décideurs dans un format exploitable.

Nettoyer les données contenues dans une base de données, un data lake, ou un entrepôt de données en s’assurant de leur qualité et de leur utilisabilité pour les restituer en un ensemble exploitable, homogène ou hétérogène.

Créer des outils de pilotage accessibles (tableaux de bord automatisés) en identifiant les indicateurs clés pour permettre aux utilisateurs/décideurs de faire face aux évolutions de l’activité et prendre les décisions adaptées.

Présenter le fonctionnement des outils de pilotage et les indicateurs clés identifiés, aux parties prenantes de façon accessible (datavisualisation) afin d’en obtenir la validation et l'appropriation

Présenter et défendre ses recommandations en se basant sur l’analyse des informations issues des outils de pilotage, afin de permettre aux clients internes une prise de décision éclairée (data gouvernance) et de créer de nouvelles opportunités

Modalité d’évaluation des compétences 1 à 6 : Mise en situation de mise en place du cycle de l’information nécessaire à la création d’outils de pilotage.

Le candidat travaillant seul, doit, à partir d'une problématique proposée par une entreprise (réelle ou fictive) et de plusieurs sources de données :

1 - Formaliser le besoin exprimé par le client en termes de pilotage d'activité et identifier les données à exploiter (internes et externes),

2 - Collecter et stocker, dans des conditions sécurisées, les données qui seront exploitées pour piloter l’activité,

3 - Extraire et nettoyer les données nécessaires au pilotage de l’activité du client

Le candidat présente : 

à un jury de deux personnes représentant le client son analyse des besoins et les résultats de son travail de collecte, de stockage, d’extraction et de nettoyage de données. Il justifie ses choix et ses actions par rapport aux besoins du client.

Modalité d’évaluation des compétences 7 à 9 : Mise en situation de création et présentation des outils de pilotage, analyse de données et préconisations.

Le candidat travaillant seul, doit, à partir d'une problématique proposée par une entreprise (réelle ou fictive) :

1 - Créer les outils de pilotage accessibles correspondant aux besoins du client et identifier les indicateurs clés,

2 - Présenter de façon accessible les outils de pilotage et les indicateurs clés identifiés,

3 - Produire une analyse des informations issues des outils de pilotage et en tirer des préconisations en termes de prise de décision,

4 - Identifier et présenter à partir des outils de pilotage de nouvelles opportunités d’activités

Le candidat présente : 

Ses outils de pilotage, ses indicateurs, son analyse et ses préconisations à un jury de deux personnes représentant le client. Il justifie ses choix par rapport aux besoins du client.