Morgan Stanley: przepływy danych 30% szybsze i 60% mniej awarii
Morgan Stanley miał ponad 10 przestarzałych systemów zasilających rozspójnione przepływy danych w skali petabajtów oraz dwa globalne zespoły inżynierskie w Meksyku i Indiach bez jasnych zasad pracy. Trzeba było naprawić jedno i drugie równolegle, nie wstrzymując prac dla interesariuszy na poziomie VP w bankowości inwestycyjnej i w obsłudze aplikacji mobilnej.
Korporacyjna warstwa danych Morgan Stanley składała się z rozdrobnionych, słabo udokumentowanych przepływów danych, które integrowały ponad 10 różnych systemów źródłowych w skali petabajtów. Zadania wsadowe działały na starzejącym się Pythonie 2.x, bez jednego standardu transformacji. Zespoły rozrzucone między Meksykiem a Indiami nie miały jasnych zasad pracy, co tworzyło wąskie gardła przy każdym kontakcie z interesariuszami VP. Organizacja potrzebowała jednocześnie przebudowy platformy i zmiany sposobu dostarczania.
Poprowadziliśmy pełne przeprojektowanie platformy na Azure Databricks, wdrażając architekturę Medallion (Bronze / Silver / Gold) z PySpark i Delta Lake. Zaprojektowaliśmy logikę mapowania źródło-cel opartą na metadanych dla wszystkich ponad 10 różnych systemów i zastosowaliśmy zaawansowaną optymalizację SQL (partycjonowanie, klastrowanie, indeksowanie) w skali petabajtów. Przepływy ETL/ELT zbudowaliśmy w Talend, dbt i Airflow. Równolegle rola service delivery managera i scrum mastera: diagram wymagań, który usunął wąskie gardła u ponad 6 interesariuszy VP, migracja z Pythona 2 na 3 oraz zgranie zespołów dzięki ceremoniom SAFe.
Przeprojektowanie platformy podniosło wydajność przepływów danych o 30%, i było to policzalne. Mapowanie oparte na metadanych ujednoliciło integrację danych we wszystkich ponad 10 systemach i skróciło o tygodnie czas podłączania nowych źródeł. Nowy sposób dostarczania usunął wąskie gardła u interesariuszy i zwiększył przepustowość zespołów. Warstwa analityczna w Snowflake pozwoliła budować dashboardy do decyzji na poziomie VP na danych niemal na bieżąco. Migracja z Pythona 2 na 3 zamknęła wszystkie luki bezpieczeństwa wynikające z końca wsparcia w systemach krytycznych.