Ingeniería de IA Resolución de entidades Ingeniería de datos Innovare · oct 2024 – feb 2025

Innovare: IA que reemplazó un sistema de reglas fallido – en producción

La aplicación InnoTM de Innovare cruzaba organizaciones y contactos entre varias fuentes de datos, y el sistema basado en reglas fallaba en silencio. Los emparejamientos erróneos corrompían informes posteriores y nadie sabía hasta dónde llegaba el problema. Necesitaban un emparejamiento que mejorara de forma iterativa, con pipelines completos en producción y control automático de la calidad del dato.

El reto
Emparejar entidades entre fuentes heterogéneas a gran escala

La aplicación InnoTM de Innovare necesitaba resolver y emparejar entidades (organizaciones, contactos, registros) entre varias fuentes heterogéneas con formatos, convenciones de nombres y niveles de completitud distintos. El emparejamiento por reglas fallaba por las inconsistencias de los datos. El equipo necesitaba un emparejamiento basado en modelos que mejorara la precisión de forma iterativa, junto con pipelines fiables en producción y controles automáticos de calidad, todo desplegado con un plazo ajustado.

La solución
Emparejamiento con modelos, modelos semánticos y pipelines en producción

Diseñamos y desplegamos soluciones de emparejamiento algorítmicas y basadas en modelos: puntuación de similitud, emparejamiento probabilístico y clustering a escala con Python (NumPy, Pandas, SciPy, Scikit-learn) y SQL avanzado. Desarrollamos modelos semánticos y patrones de transformación reutilizables para mejorar la calidad y la consistencia del emparejamiento. Construimos pipelines de nivel producción de principio a fin: desde requisitos y arquitectura hasta código, pruebas, despliegue y orquestación con Apache Airflow. Introdujimos pruebas automáticas de calidad para garantizar la integridad de todas las salidas.

Los resultados
Resolución de entidades precisa, a escala y en producción

El emparejamiento basado en modelos sustituyó a los sistemas de reglas que fallaban por modelos mejorables de forma iterativa que superaron las referencias de precisión anteriores. Los pipelines de producción corrieron de principio a fin con orquestación completa en Airflow, pruebas automáticas y contratos de datos documentados. El modelado semántico y los patrones reutilizables redujeron el coste de añadir nuevas fuentes de semanas a días. El equipo estableció buenas prácticas compartidas que se extendieron al resto del área de ingeniería.

Machine learning
El emparejamiento probabilístico sustituyó a la lógica de reglas que fallaba
Responsabilidad de principio a fin
Pipelines completos en producción, del diseño a la orquestación en Airflow
Reducción de tiempo notable
De semanas a días para incorporar nuevas fuentes con patrones reutilizables
100%
Pruebas automáticas de calidad del dato aplicadas en todos los pipelines
Tecnologías utilizadas
Python Scikit-learn NumPy / Pandas / SciPy SQL (complex) Apache Airflow Entity Resolution Similarity Scoring Semantic Modelling CI/CD Data Contracts Automated Testing