Ingegneria dei dati Migrazione al cloud Servizi finanziari Morgan Stanley · Globale · 2022–2024

Morgan Stanley: pipeline 30% più veloci e 60% di guasti in meno

Morgan Stanley aveva oltre 10 sistemi legacy che alimentavano pipeline scollegate su scala petabyte, e due squadre di ingegneria globali tra Messico e India senza un chiaro modello di delivery. Il mandato era risolvere entrambe le cose insieme, senza sospendere le consegne agli stakeholder di livello VP nell'investment banking e nelle operazioni dell'applicazione mobile.

La sfida
Pipeline legacy frammentate su scala petabyte

Il livello dati aziendale di Morgan Stanley era composto da pipeline frammentate e poco documentate che integravano oltre 10 sistemi sorgente eterogenei su scala petabyte. I job batch giravano su un Python 2.x obsoleto, senza uno standard di trasformazione unificato. I team distribuiti tra Messico e India non avevano modelli di delivery chiari, creando collli di bottiglia a ogni punto di contatto con gli stakeholder VP. L'organizzazione doveva rinnovare la piattaforma e trasformare il modello di delivery, contemporaneamente.

La soluzione
Architettura Medallion e un doppio ruolo senior

Abbiamo guidato la riprogettazione completa della piattaforma su Azure Databricks implementando l'architettura Medallion (Bronze / Silver / Gold) con PySpark e Delta Lake. Abbiamo progettato la logica di mappatura sorgente-destinazione guidata dai metadati per tutti gli oltre 10 sistemi eterogenei e applicato ottimizzazioni SQL avanzate (partizionamento, clustering, indicizzazione) su scala petabyte. Pipeline ETL/ELT costruite con Talend, dbt e Airflow. In parallelo, ruolo di Service Delivery Manager e Scrum Master: progettazione di un diagramma dei requisiti che ha eliminato i colli di bottiglia tra oltre 6 stakeholder VP, guida della migrazione da Python 2 a 3 e allineamento delle squadre con le cerimonie SAFe.

I risultati
30% di efficienza in più e un nuovo modello di delivery

La riprogettazione della piattaforma ha prodotto un miglioramento misurabile del 30% nell'efficienza delle pipeline. La mappatura guidata dai metadati ha standardizzato l'integrazione dei dati su tutti gli oltre 10 sistemi, riducendo di settimane l'onboarding di nuove sorgenti. Il nuovo modello di delivery ha eliminato i colli di bottiglia con gli stakeholder e aumentato la produttività delle squadre. Il livello analitico su Snowflake ha abilitato dashboard per decisioni di livello VP con dati quasi in tempo reale. La migrazione da Python 2 a 3 ha eliminato tutte le vulnerabilità di sicurezza da fine supporto nei sistemi critici.

30%
Miglioramento dell'efficienza di integrazione dati
↓60%
Riduzione del tasso di errore delle pipeline
10+
Sistemi eterogenei unificati in una sola piattaforma
6+
Stakeholder di livello VP gestiti senza colli di bottiglia
Tecnologie utilizzate
Azure Databricks PySpark Delta Lake Snowflake Apache Airflow dbt Talend Azure ADLS Python 3 Power BI / Tableau SAFe / Jira