Ingegneria IA Risoluzione di entità Ingegneria dei dati Innovare · ott 2024 – feb 2025

Innovare: l'IA che ha sostituito un sistema di regole fallimentare – in produzione

L'applicazione InnoTM di Innovare confrontava organizzazioni e contatti tra più fonti di dati, e il sistema basato su regole stava fallendo in silenzio. Gli abbinamenti errati corrompevano i report a valle e nessuno sapeva quanto fosse profondo il problema. Serviva un abbinamento capace di migliorare in modo iterativo, con pipeline complete in produzione e controllo automatico della qualità dei dati.

La sfida
Abbinare entità tra fonti eterogenee su larga scala

L'applicazione InnoTM di Innovare doveva risolvere e abbinare entità (organizzazioni, contatti, record) tra più fonti eterogenee con formati, convenzioni di denominazione e livelli di completezza diversi. L'abbinamento a regole falliva per le incoerenze nei dati. Il team aveva bisogno di un abbinamento guidato da modelli, migliorabile in modo iterativo, con pipeline affidabili in produzione e controlli di qualità automatici, il tutto in produzione con tempi stretti.

La soluzione
Abbinamento con modelli, modelli semantici, pipeline in produzione

Abbiamo progettato e messo in produzione soluzioni di abbinamento algoritmiche e guidate da modelli: punteggio di similarità, abbinamento probabilistico e clustering su larga scala con Python (NumPy, Pandas, SciPy, Scikit-learn) e SQL avanzato. Sviluppati modelli semantici e pattern di trasformazione riutilizzabili per migliorare qualità e coerenza dell'abbinamento. Pipeline di livello produttivo costruite end-to-end: dai requisiti e dall'architettura al codice, ai test, al deploy e all'orchestrazione con Apache Airflow. Introdotti test automatici di qualità per garantire l'integrità di tutti gli output.

I risultati
Risoluzione di entità accurata, su larga scala e in produzione

L'abbinamento basato su modelli ha sostituito i sistemi a regole che fallivano con modelli migliorabili in modo iterativo, superando i precedenti riferimenti di accuratezza. Le pipeline di produzione hanno girato end-to-end con orchestrazione Airflow completa, test automatici e contratti dati documentati. La modellazione semantica e i pattern riutilizzabili hanno ridotto il costo di aggiungere nuove fonti da settimane a giorni. Il team ha stabilito buone pratiche condivise, diffuse in tutta l'area di ingegneria.

Machine learning
L'abbinamento probabilistico ha sostituito la logica a regole che falliva
Responsabilità end-to-end
Pipeline complete in produzione, dalla progettazione all'orchestrazione Airflow
Riduzione dei tempi significativa
Da settimane a giorni per aggiungere nuove fonti grazie a pattern riutilizzabili
100%
Test automatici di qualità dei dati applicati a tutte le pipeline
Tecnologie utilizzate
Python Scikit-learn NumPy / Pandas / SciPy SQL (complex) Apache Airflow Entity Resolution Similarity Scoring Semantic Modelling CI/CD Data Contracts Automated Testing