Innovare: IA que reemplazó un sistema de reglas fallido – en producción
La aplicación InnoTM de Innovare cruzaba organizaciones y contactos entre varias fuentes de datos, y el sistema basado en reglas fallaba en silencio. Los emparejamientos erróneos corrompían informes posteriores y nadie sabía hasta dónde llegaba el problema. Necesitaban un emparejamiento que mejorara de forma iterativa, con pipelines completos en producción y control automático de la calidad del dato.
La aplicación InnoTM de Innovare necesitaba resolver y emparejar entidades (organizaciones, contactos, registros) entre varias fuentes heterogéneas con formatos, convenciones de nombres y niveles de completitud distintos. El emparejamiento por reglas fallaba por las inconsistencias de los datos. El equipo necesitaba un emparejamiento basado en modelos que mejorara la precisión de forma iterativa, junto con pipelines fiables en producción y controles automáticos de calidad, todo desplegado con un plazo ajustado.
Diseñamos y desplegamos soluciones de emparejamiento algorítmicas y basadas en modelos: puntuación de similitud, emparejamiento probabilístico y clustering a escala con Python (NumPy, Pandas, SciPy, Scikit-learn) y SQL avanzado. Desarrollamos modelos semánticos y patrones de transformación reutilizables para mejorar la calidad y la consistencia del emparejamiento. Construimos pipelines de nivel producción de principio a fin: desde requisitos y arquitectura hasta código, pruebas, despliegue y orquestación con Apache Airflow. Introdujimos pruebas automáticas de calidad para garantizar la integridad de todas las salidas.
El emparejamiento basado en modelos sustituyó a los sistemas de reglas que fallaban por modelos mejorables de forma iterativa que superaron las referencias de precisión anteriores. Los pipelines de producción corrieron de principio a fin con orquestación completa en Airflow, pruebas automáticas y contratos de datos documentados. El modelado semántico y los patrones reutilizables redujeron el coste de añadir nuevas fuentes de semanas a días. El equipo estableció buenas prácticas compartidas que se extendieron al resto del área de ingeniería.