Ingénierie IA Résolution d'entités Ingénierie des données Innovare · oct. 2024 – févr. 2025

Innovare : l'IA qui a remplacé un système de règles défaillant – en production

L'application InnoTM d'Innovare rapprochait organisations et contacts entre plusieurs sources de données, et le système à base de règles échouait silencieusement. Les correspondances erronées corrompaient les rapports en aval et personne ne savait jusqu'où allait le problème. Il fallait un rapprochement qui s'améliore de façon itérative, avec des pipelines complets en production et un contrôle automatisé de la qualité des données.

Le défi
Rapprocher des entités entre sources hétérogènes à grande échelle

L'application InnoTM d'Innovare devait résoudre et rapprocher des entités (organisations, contacts, enregistrements) entre plusieurs sources hétérogènes aux formats, conventions de nommage et niveaux de complétude variables. Le rapprochement par règles échouait à cause des incohérences de données. L'équipe avait besoin d'un rapprochement piloté par modèles, améliorable de façon itérative, avec des pipelines fiables en production et des contrôles qualité automatisés, le tout déployé dans un délai serré.

La solution
Rapprochement par modèles, modèles sémantiques, pipelines en production

Nous avons conçu et déployé des solutions de rapprochement algorithmiques et pilotées par modèles : score de similarité, rapprochement probabiliste et clustering à grande échelle avec Python (NumPy, Pandas, SciPy, Scikit-learn) et SQL avancé. Modèles sémantiques et motifs de transformation réutilisables développés pour améliorer la qualité et la cohérence du rapprochement. Pipelines de niveau production construits de bout en bout : des exigences et de l'architecture au code, aux tests, au déploiement et à l'orchestration avec Apache Airflow. Tests de qualité automatisés introduits pour garantir l'intégrité de toutes les sorties.

Les résultats
Résolution d'entités précise, à grande échelle et en production

Le rapprochement par modèles a remplacé les systèmes à base de règles défaillants par des modèles améliorables de façon itérative, dépassant les références de précision antérieures. Les pipelines de production tournaient de bout en bout avec une orchestration Airflow complète, des tests automatisés et des contrats de données documentés. La modélisation sémantique et les motifs réutilisables ont ramené le coût d'ajout d'une nouvelle source de plusieurs semaines à quelques jours. L'équipe a établi des bonnes pratiques partagées, diffusées dans toute la filière ingénierie.

Machine learning
Le rapprochement probabiliste a remplacé la logique de règles défaillante
Responsabilité de bout en bout
Pipelines complets en production, de la conception à l'orchestration Airflow
Réduction de temps notable
De plusieurs semaines à quelques jours pour intégrer une source, via des motifs réutilisables
100%
Tests de qualité des données automatisés appliqués à tous les pipelines
Technologies utilisées
Python Scikit-learn NumPy / Pandas / SciPy SQL (complex) Apache Airflow Entity Resolution Similarity Scoring Semantic Modelling CI/CD Data Contracts Automated Testing