Innovare : l'IA qui a remplacé un système de règles défaillant – en production
L'application InnoTM d'Innovare rapprochait organisations et contacts entre plusieurs sources de données, et le système à base de règles échouait silencieusement. Les correspondances erronées corrompaient les rapports en aval et personne ne savait jusqu'où allait le problème. Il fallait un rapprochement qui s'améliore de façon itérative, avec des pipelines complets en production et un contrôle automatisé de la qualité des données.
L'application InnoTM d'Innovare devait résoudre et rapprocher des entités (organisations, contacts, enregistrements) entre plusieurs sources hétérogènes aux formats, conventions de nommage et niveaux de complétude variables. Le rapprochement par règles échouait à cause des incohérences de données. L'équipe avait besoin d'un rapprochement piloté par modèles, améliorable de façon itérative, avec des pipelines fiables en production et des contrôles qualité automatisés, le tout déployé dans un délai serré.
Nous avons conçu et déployé des solutions de rapprochement algorithmiques et pilotées par modèles : score de similarité, rapprochement probabiliste et clustering à grande échelle avec Python (NumPy, Pandas, SciPy, Scikit-learn) et SQL avancé. Modèles sémantiques et motifs de transformation réutilisables développés pour améliorer la qualité et la cohérence du rapprochement. Pipelines de niveau production construits de bout en bout : des exigences et de l'architecture au code, aux tests, au déploiement et à l'orchestration avec Apache Airflow. Tests de qualité automatisés introduits pour garantir l'intégrité de toutes les sorties.
Le rapprochement par modèles a remplacé les systèmes à base de règles défaillants par des modèles améliorables de façon itérative, dépassant les références de précision antérieures. Les pipelines de production tournaient de bout en bout avec une orchestration Airflow complète, des tests automatisés et des contrats de données documentés. La modélisation sémantique et les motifs réutilisables ont ramené le coût d'ajout d'une nouvelle source de plusieurs semaines à quelques jours. L'équipe a établi des bonnes pratiques partagées, diffusées dans toute la filière ingénierie.