Description du projet

Retour aux réalisations

Repenser une organisation et une architecture IT

pour faciliter la mise en œuvre de projets de Machine Learning

Banque – Grand compte – DataOps – Projet d’évolution

Avec la recrudescence des projets data et l’arrivée de nombreux data scientists, cette grande banque française a souhaité structurer son organisation pour mieux accompagner le développement de ces projets.

Ainsi, chaque équipe de Machine learning est rattachée à une équipe métier qu’elle accompagne dans la mise en place de ses différents use cases data.

Une trentaine d’initiatives (use cases) sont ainsi lancées afin de répondre aux différents besoins métiers.

Au-delà de la structuration organisationnelle, est vite apparue la nécessité d’une structuration technique.

Une équipe dédiée a ainsi été mise en place afin de déployer les ressources nécessaires pour faciliter la mise en œuvre des projets data et améliorer le time-to-market.

Technologies

Logo Hadoop
Logo Spark
Logo Docker

Objectif et solution

Une équipe de six personnes composée d’un Tech lead, de deux data scientists, d’une chef de projet / scrum master, d’un manager d’équipe / PO, et d’un data ingénieur a été créée. Après un an, celle-ci s’étoffe encore par l’intégration de quatre profils Dev/DataOps, dont un expert technique.
Cette équipe travaille en étroite collaboration avec les Ops, les architectes (techniques et fonctionnels), la sécurité et la data science, son client final à qui elle doit fournir les moyens d’aller en production le plus facilement possible.

Il s’agit pour cette équipe transverse de permettre aux data scientists d’être autonomes dans la création d’un projet data, de la phase de POC jusqu’à l’industrialisation.

Elle sert également de passerelle avec les équipes Ops afin de s’assurer que les infrastructures restent solides, fiables et adaptées à leurs besoins.

L’objectif est triple : 

1 – Donner des lignes directrices sur les principes à adopter en termes de Data Science. 

2 – Mettre en place une architecture technique qui favorise la collaboration entre les différentes équipes projets et permette aux data scientists de réaliser leurs phases exploratoires (POC).

3 – Fournir les outils nécessaires (CI/CD) afin de faciliter la mise en production du produit créé et les mettre à disposition des utilisateurs finaux.

Chiffres clés

30+

initiatives au stade de POC (pour les produits ML)

4

initiatives déployées en production, utilisant les pratiques et la chaîne de CI/CD mises en place par l’équipe

100 To+

de données sont manipulées dans le cadre des projets de ML

Notre accompagnement

Notre Partner Data a ainsi contribué à deux aspects de la mission :

Culture Linkvalue
  • Création de l’infrastructure technique dédiée : Le cluster de big data ayant été construit pour des projets IT traditionnels et non pour des projets de Machine Learning, il a tout d’abord fallu effectuer des ajustements techniques afin de permettre aux data scientists de réaliser leur phase d’exploration. Ces derniers ont en effet besoin de données réelles pour entraîner leurs modèles et arriver à se prononcer sur la viabilité d’un use case. Toute la problématique était donc de leur fournir un espace spécifique – data lab – qui leur donne la permissivité d’un environnement de développement tout en ayant accès aux données de production. Ceci afin de déployer ensuite de manière fiable les résultats de phases exploratoires quand ils sont concluants.

  • Mise en place de normes techniques et d’un accompagnement : Une fois l’infrastructure mise en place, notre Partner Data a intégré les équipes ML en tant que DataOps dédié afin de s’assurer que la chaîne de CI/CD mise en place pour leurs projets soit correcte et la tuner au besoin, puis leur expliquer comment piloter un projet en production et leur donner les bonnes pratiques de software engineering.

L’environnement technique

Témoignage partner

Bruno Partner Linkvalue

La DataOps et le MLOps sont des disciplines encore récentes qui nécessitent des outils et des processus dédiés. Ce projet était donc pour moi un vrai challenge puisqu’il m’a permis de monter en compétences sur de nombreuses technos dans un environnement riche et complexe avec une grande diversité d’interlocuteurs.
De mon côté, j’ai pu mettre en place et animer des formations à distance afin d’accompagner les data scientists dans l’utilisation des outils. D’un naturel diplomate et souriant, je sais m’adapter aux différentes situations et interlocuteurs afin de faire le lien entre les équipes.

Bruno – Partner Linkvalue

Un projet en tête ? Contactez-nous !

Réserver un café avec nous