Innovare: l'IA che ha sostituito un sistema di regole fallimentare – in produzione
L'applicazione InnoTM di Innovare confrontava organizzazioni e contatti tra più fonti di dati, e il sistema basato su regole stava fallendo in silenzio. Gli abbinamenti errati corrompevano i report a valle e nessuno sapeva quanto fosse profondo il problema. Serviva un abbinamento capace di migliorare in modo iterativo, con pipeline complete in produzione e controllo automatico della qualità dei dati.
L'applicazione InnoTM di Innovare doveva risolvere e abbinare entità (organizzazioni, contatti, record) tra più fonti eterogenee con formati, convenzioni di denominazione e livelli di completezza diversi. L'abbinamento a regole falliva per le incoerenze nei dati. Il team aveva bisogno di un abbinamento guidato da modelli, migliorabile in modo iterativo, con pipeline affidabili in produzione e controlli di qualità automatici, il tutto in produzione con tempi stretti.
Abbiamo progettato e messo in produzione soluzioni di abbinamento algoritmiche e guidate da modelli: punteggio di similarità, abbinamento probabilistico e clustering su larga scala con Python (NumPy, Pandas, SciPy, Scikit-learn) e SQL avanzato. Sviluppati modelli semantici e pattern di trasformazione riutilizzabili per migliorare qualità e coerenza dell'abbinamento. Pipeline di livello produttivo costruite end-to-end: dai requisiti e dall'architettura al codice, ai test, al deploy e all'orchestrazione con Apache Airflow. Introdotti test automatici di qualità per garantire l'integrità di tutti gli output.
L'abbinamento basato su modelli ha sostituito i sistemi a regole che fallivano con modelli migliorabili in modo iterativo, superando i precedenti riferimenti di accuratezza. Le pipeline di produzione hanno girato end-to-end con orchestrazione Airflow completa, test automatici e contratti dati documentati. La modellazione semantica e i pattern riutilizzabili hanno ridotto il costo di aggiungere nuove fonti da settimane a giorni. Il team ha stabilito buone pratiche condivise, diffuse in tutta l'area di ingegneria.