Morgan Stanley: pipeline 30% più veloci e 60% di guasti in meno
Morgan Stanley aveva oltre 10 sistemi legacy che alimentavano pipeline scollegate su scala petabyte, e due squadre di ingegneria globali tra Messico e India senza un chiaro modello di delivery. Il mandato era risolvere entrambe le cose insieme, senza sospendere le consegne agli stakeholder di livello VP nell'investment banking e nelle operazioni dell'applicazione mobile.
Il livello dati aziendale di Morgan Stanley era composto da pipeline frammentate e poco documentate che integravano oltre 10 sistemi sorgente eterogenei su scala petabyte. I job batch giravano su un Python 2.x obsoleto, senza uno standard di trasformazione unificato. I team distribuiti tra Messico e India non avevano modelli di delivery chiari, creando collli di bottiglia a ogni punto di contatto con gli stakeholder VP. L'organizzazione doveva rinnovare la piattaforma e trasformare il modello di delivery, contemporaneamente.
Abbiamo guidato la riprogettazione completa della piattaforma su Azure Databricks implementando l'architettura Medallion (Bronze / Silver / Gold) con PySpark e Delta Lake. Abbiamo progettato la logica di mappatura sorgente-destinazione guidata dai metadati per tutti gli oltre 10 sistemi eterogenei e applicato ottimizzazioni SQL avanzate (partizionamento, clustering, indicizzazione) su scala petabyte. Pipeline ETL/ELT costruite con Talend, dbt e Airflow. In parallelo, ruolo di Service Delivery Manager e Scrum Master: progettazione di un diagramma dei requisiti che ha eliminato i colli di bottiglia tra oltre 6 stakeholder VP, guida della migrazione da Python 2 a 3 e allineamento delle squadre con le cerimonie SAFe.
La riprogettazione della piattaforma ha prodotto un miglioramento misurabile del 30% nell'efficienza delle pipeline. La mappatura guidata dai metadati ha standardizzato l'integrazione dei dati su tutti gli oltre 10 sistemi, riducendo di settimane l'onboarding di nuove sorgenti. Il nuovo modello di delivery ha eliminato i colli di bottiglia con gli stakeholder e aumentato la produttività delle squadre. Il livello analitico su Snowflake ha abilitato dashboard per decisioni di livello VP con dati quasi in tempo reale. La migrazione da Python 2 a 3 ha eliminato tutte le vulnerabilità di sicurezza da fine supporto nei sistemi critici.