Morgan Stanley : pipelines 30% plus rapides et 60% de pannes en moins
Morgan Stanley comptait plus de 10 systèmes historiques alimentant des pipelines déconnectés à l'échelle du pétaoctet, et deux escouades d'ingénierie réparties entre le Mexique et l'Inde sans cadre de livraison clair. La mission consistait à corriger les deux en parallèle, sans interrompre les livraisons aux parties prenantes de niveau VP dans la banque d'investissement et les opérations de l'application mobile.
La couche de données d'entreprise de Morgan Stanley reposait sur des pipelines fragmentés et mal documentés intégrant plus de 10 systèmes sources hétérogènes à l'échelle du pétaoctet. Les traitements par lots tournaient sur un Python 2.x vieillissant, sans standard de transformation unifié. Les équipes réparties entre le Mexique et l'Inde manquaient de cadres de livraison clairs, créant des goulots d'étranglement à chaque point de contact avec les parties prenantes VP. L'organisation devait à la fois refondre la plateforme et transformer son modèle de livraison.
Nous avons piloté la refonte complète de la plateforme sur Azure Databricks en mettant en œuvre l'architecture Medallion (Bronze / Silver / Gold) avec PySpark et Delta Lake. Nous avons conçu une logique de mappage source-cible pilotée par les métadonnées pour les 10+ systèmes hétérogènes, et appliqué une optimisation SQL avancée (partitionnement, clustering, indexation) à l'échelle du pétaoctet. Pipelines ETL/ELT construits avec Talend, dbt et Airflow. En parallèle, rôle de Service Delivery Manager et Scrum Master : conception d'un schéma des exigences qui a supprimé les goulots d'étranglement entre plus de 6 parties prenantes VP, pilotage de la migration Python 2 vers 3 et alignement des escouades via les cérémonies SAFe.
La refonte de la plateforme a produit une amélioration mesurable de 30 % de l'efficacité des pipelines. Le mappage piloté par les métadonnées a standardisé l'intégration des données sur les 10+ systèmes et réduit de plusieurs semaines l'intégration de nouvelles sources. Le nouveau modèle de livraison a supprimé les goulots d'étranglement et augmenté le débit des escouades. La couche analytique Snowflake a permis des tableaux de bord pour les décisions de niveau VP avec des données quasi temps réel. La migration Python 2 vers 3 a éliminé toutes les vulnérabilités liées à la fin de vie sur les systèmes critiques.