Inżynieria AI Rozpoznawanie encji Inżynieria danych Innovare · paź 2024 – lut 2025

Innovare: AI, które zastąpiło zawodny system reguł – w środowisku produkcyjnym

Aplikacja InnoTM firmy Innovare dopasowywała organizacje i kontakty z wielu źródeł danych, a system regułowy po cichu zawodził. Błędne dopasowania psuły raporty na dalszych etapach i nikt nie wiedział, jak głęboki jest problem. Potrzebne było dopasowywanie, które poprawia się z każdą iteracją, z pełnymi przepływami danych na produkcji i automatyczną kontrolą jakości.

Wyzwanie
Dopasowywanie encji między heterogenicznymi źródłami na dużą skalę

Aplikacja InnoTM firmy Innovare musiała rozpoznawać i dopasowywać encje (organizacje, kontakty, rekordy) między wieloma różnymi źródłami o odmiennych formatach, konwencjach nazw i poziomach kompletności. Dopasowywanie regułowe zawodziło przez niespójności w danych. Zespół potrzebował dopasowywania opartego na modelach, poprawialnego z każdą iteracją, wraz z niezawodnymi przepływami danych na produkcji i automatycznymi bramkami jakości – wszystko w krótkim terminie.

Rozwiązanie
Dopasowywanie modelowe, modele semantyczne, przepływy produkcyjne

Zaprojektowaliśmy i wdrożyliśmy dopasowywanie algorytmiczne i oparte na modelach: ocenę podobieństwa, dopasowywanie probabilistyczne i klastrowanie na dużą skalę w Pythonie (NumPy, Pandas, SciPy, Scikit-learn) oraz w zaawansowanym SQL. Opracowaliśmy modele semantyczne i wzorce transformacji wielokrotnego użytku, żeby poprawić jakość i spójność dopasowań. Zbudowaliśmy przepływy danych klasy produkcyjnej od początku do końca: od wymagań i architektury przez kod, testy, wdrożenie i orkiestrację w Apache Airflow. Wprowadziliśmy automatyczne testy jakości danych, które pilnują integralności wszystkich wyników.

Rezultaty
Dokładne rozpoznawanie encji na dużą skalę, na produkcji

Dopasowywanie oparte na modelach zastąpiło zawodzące systemy regułowe modelami, które poprawiają się z każdą iteracją i przebiły dotychczasową dokładność. Przepływy produkcyjne działały od początku do końca, z pełną orkiestracją w Airflow, automatycznymi testami i opisanymi kontraktami danych. Modelowanie semantyczne i wzorce wielokrotnego użytku obniżyły koszt dodania nowego źródła z tygodni do dni. Zespół wypracował wspólne dobre praktyki, które rozeszły się po całym obszarze inżynierii.

Machine learning
Dopasowywanie probabilistyczne zastąpiło zawodzącą logikę regułową
Odpowiedzialność od początku do końca
Pełne przepływy produkcyjne, od projektu do orkiestracji w Airflow
Znacząca oszczędność czasu
Z tygodni na dni przy dodawaniu nowych źródeł dzięki wzorcom wielokrotnego użytku
100%
Automatyczne testy jakości danych we wszystkich przepływach
Wykorzystane technologie
Python Scikit-learn NumPy / Pandas / SciPy SQL (complex) Apache Airflow Entity Resolution Similarity Scoring Semantic Modelling CI/CD Data Contracts Automated Testing