Innovare: AI, które zastąpiło zawodny system reguł – w środowisku produkcyjnym
Aplikacja InnoTM firmy Innovare dopasowywała organizacje i kontakty z wielu źródeł danych, a system regułowy po cichu zawodził. Błędne dopasowania psuły raporty na dalszych etapach i nikt nie wiedział, jak głęboki jest problem. Potrzebne było dopasowywanie, które poprawia się z każdą iteracją, z pełnymi przepływami danych na produkcji i automatyczną kontrolą jakości.
Aplikacja InnoTM firmy Innovare musiała rozpoznawać i dopasowywać encje (organizacje, kontakty, rekordy) między wieloma różnymi źródłami o odmiennych formatach, konwencjach nazw i poziomach kompletności. Dopasowywanie regułowe zawodziło przez niespójności w danych. Zespół potrzebował dopasowywania opartego na modelach, poprawialnego z każdą iteracją, wraz z niezawodnymi przepływami danych na produkcji i automatycznymi bramkami jakości – wszystko w krótkim terminie.
Zaprojektowaliśmy i wdrożyliśmy dopasowywanie algorytmiczne i oparte na modelach: ocenę podobieństwa, dopasowywanie probabilistyczne i klastrowanie na dużą skalę w Pythonie (NumPy, Pandas, SciPy, Scikit-learn) oraz w zaawansowanym SQL. Opracowaliśmy modele semantyczne i wzorce transformacji wielokrotnego użytku, żeby poprawić jakość i spójność dopasowań. Zbudowaliśmy przepływy danych klasy produkcyjnej od początku do końca: od wymagań i architektury przez kod, testy, wdrożenie i orkiestrację w Apache Airflow. Wprowadziliśmy automatyczne testy jakości danych, które pilnują integralności wszystkich wyników.
Dopasowywanie oparte na modelach zastąpiło zawodzące systemy regułowe modelami, które poprawiają się z każdą iteracją i przebiły dotychczasową dokładność. Przepływy produkcyjne działały od początku do końca, z pełną orkiestracją w Airflow, automatycznymi testami i opisanymi kontraktami danych. Modelowanie semantyczne i wzorce wielokrotnego użytku obniżyły koszt dodania nowego źródła z tygodni do dni. Zespół wypracował wspólne dobre praktyki, które rozeszły się po całym obszarze inżynierii.