Ingeniería de datos Migración a la nube Servicios financieros Morgan Stanley · Global · 2022–2024

Morgan Stanley: pipelines 30% más rápidos y 60% menos fallos

Morgan Stanley tenía más de 10 sistemas heredados alimentando pipelines desconectados a escala de petabytes, y dos equipos de ingeniería globales entre México e India sin un marco de entrega claro. El mandato era resolver ambas cosas a la vez, sin pausar la entrega a responsables de nivel VP en banca de inversión y operaciones de la aplicación móvil.

El reto
Pipelines heredados fragmentados a escala de petabytes

La capa de datos corporativa de Morgan Stanley consistía en pipelines fragmentados y mal documentados que integraban más de 10 sistemas de origen heterogéneos a escala de petabytes. Los procesos por lotes corrían sobre un Python 2.x envejecido, sin ningún estándar unificado de transformación. Los equipos repartidos entre México e India no tenían marcos de entrega claros, lo que generaba cuellos de botella en cada punto de contacto con los responsables de nivel VP. La organización necesitaba renovar la plataforma y transformar el modelo de entrega, a la vez.

La solución
Arquitectura Medallion y un doble rol senior

Dirigimos el rediseño completo de la plataforma sobre Azure Databricks implementando arquitectura Medallion (Bronze / Silver / Gold) con PySpark y Delta Lake. Diseñamos la lógica de mapeo origen-destino guiada por metadatos para los más de 10 sistemas heterogéneos, y aplicamos optimización avanzada de SQL (particionado, clustering, indexación) a escala de petabytes. Construimos pipelines ETL/ELT con Talend, dbt y Airflow. En paralelo asumimos el rol de service delivery manager y scrum master: diseñamos un diagrama de requisitos que eliminó los cuellos de botella entre más de 6 responsables de nivel VP, lideramos la migración de Python 2 a 3 y alineamos a los equipos con ceremonias SAFe.

Los resultados
30% más de eficiencia y un nuevo modelo de entrega

El rediseño de la plataforma produjo una mejora medible del 30% en la eficiencia de los pipelines. El mapeo guiado por metadatos estandarizó la integración de datos en los más de 10 sistemas y recortó semanas del tiempo de incorporación de nuevas fuentes. El nuevo modelo de entrega eliminó los cuellos de botella con los responsables y aumentó el rendimiento de los equipos. La capa analítica en Snowflake habilitó cuadros de mando para decisiones de nivel VP con datos casi en tiempo real. La migración de Python 2 a 3 eliminó todas las vulnerabilidades de seguridad por fin de soporte en los sistemas críticos.

30%
Mejora en la eficiencia de integración de datos
↓60%
Reducción de la tasa de fallos de los pipelines
10+
Sistemas heterogéneos unificados en una sola plataforma
6+
Responsables de nivel VP gestionados sin cuellos de botella
Tecnologías utilizadas
Azure Databricks PySpark Delta Lake Snowflake Apache Airflow dbt Talend Azure ADLS Python 3 Power BI / Tableau SAFe / Jira