Ingénierie des données Migration cloud Services financiers Morgan Stanley · International · 2022–2024

Morgan Stanley : pipelines 30% plus rapides et 60% de pannes en moins

Morgan Stanley comptait plus de 10 systèmes historiques alimentant des pipelines déconnectés à l'échelle du pétaoctet, et deux escouades d'ingénierie réparties entre le Mexique et l'Inde sans cadre de livraison clair. La mission consistait à corriger les deux en parallèle, sans interrompre les livraisons aux parties prenantes de niveau VP dans la banque d'investissement et les opérations de l'application mobile.

Le défi
Pipelines historiques fragmentés à l'échelle du pétaoctet

La couche de données d'entreprise de Morgan Stanley reposait sur des pipelines fragmentés et mal documentés intégrant plus de 10 systèmes sources hétérogènes à l'échelle du pétaoctet. Les traitements par lots tournaient sur un Python 2.x vieillissant, sans standard de transformation unifié. Les équipes réparties entre le Mexique et l'Inde manquaient de cadres de livraison clairs, créant des goulots d'étranglement à chaque point de contact avec les parties prenantes VP. L'organisation devait à la fois refondre la plateforme et transformer son modèle de livraison.

La solution
Architecture Medallion et double rôle senior

Nous avons piloté la refonte complète de la plateforme sur Azure Databricks en mettant en œuvre l'architecture Medallion (Bronze / Silver / Gold) avec PySpark et Delta Lake. Nous avons conçu une logique de mappage source-cible pilotée par les métadonnées pour les 10+ systèmes hétérogènes, et appliqué une optimisation SQL avancée (partitionnement, clustering, indexation) à l'échelle du pétaoctet. Pipelines ETL/ELT construits avec Talend, dbt et Airflow. En parallèle, rôle de Service Delivery Manager et Scrum Master : conception d'un schéma des exigences qui a supprimé les goulots d'étranglement entre plus de 6 parties prenantes VP, pilotage de la migration Python 2 vers 3 et alignement des escouades via les cérémonies SAFe.

Les résultats
30 % d'efficacité en plus et un nouveau modèle de livraison

La refonte de la plateforme a produit une amélioration mesurable de 30 % de l'efficacité des pipelines. Le mappage piloté par les métadonnées a standardisé l'intégration des données sur les 10+ systèmes et réduit de plusieurs semaines l'intégration de nouvelles sources. Le nouveau modèle de livraison a supprimé les goulots d'étranglement et augmenté le débit des escouades. La couche analytique Snowflake a permis des tableaux de bord pour les décisions de niveau VP avec des données quasi temps réel. La migration Python 2 vers 3 a éliminé toutes les vulnérabilités liées à la fin de vie sur les systèmes critiques.

30%
Gain d'efficacité sur l'intégration des données
↓60%
Réduction du taux d'échec des pipelines
10+
Systèmes hétérogènes unifiés en une seule plateforme
6+
Parties prenantes de niveau VP gérées sans goulots d'étranglement
Technologies utilisées
Azure Databricks PySpark Delta Lake Snowflake Apache Airflow dbt Talend Azure ADLS Python 3 Power BI / Tableau SAFe / Jira