Para la mayoría de los equipos de ingeniería de datos, el flujo de trabajo para gestionar la confiabilidad de la canalización sigue un patrón frustrante: un trabajo falla, se activa una alerta y los ingenieros deben rastrear manualmente el error en los clústeres distribuidos para solucionar un problema que ya ha afectado al negocio.
Este modelo “reactivo” se está convirtiendo cada vez más en un cuello de botella para la próxima ola de tecnología: la IA agente. A diferencia del análisis tradicional, que puede tolerar ligeros retrasos o inconsistencias menores en los datos, los sistemas de IA agentes requieren datos de alta calidad en tiempo real para funcionar. Si una tubería entrega datos obsoletos o corruptos, la IA no solo muestra un gráfico incorrecto, sino que toma decisiones autónomas incorrectas.
Para cerrar esta brecha, la startup Definity, con sede en Chicago, está cambiando el paradigma al incorporar inteligencia directamente en la capa de ejecución de los canales de datos.
La arquitectura de la intervención: interior versus exterior
La diferencia fundamental entre Definity y los líderes existentes de la industria radica en dónde se realiza el monitoreo.
Las herramientas de monitoreo tradicionales, como Datadog, Unravel Data o Acceldata, operan desde afuera. Observan métricas y tablas del sistema después de que se completa un trabajo. Como explica el director ejecutivo de Definity, Roy Daniel, este enfoque es inherentemente tardío: “Cuando sabes que algo sucedió, ya sucedió”. Cuando una herramienta externa detecta un problema, los recursos informáticos ya se han desperdiciado y los datos incorrectos ya han fluido hacia abajo.
Definity adopta un enfoque arquitectónico diferente:
- Instrumentación en línea: En lugar de mirar desde lejos, Definity instala un agente JVM directamente dentro del controlador Spark o DBT a través de una sola línea de código.
- Contexto en tiempo real: Debido a que el agente se encuentra dentro de la capa de ejecución, captura datos en vivo sobre la presión de la memoria, la distorsión de los datos, los patrones aleatorios y la utilización de la infraestructura a medida que se ejecuta el trabajo.
- Intervención activa: A diferencia de las herramientas tradicionales que solo “leen” datos, los agentes de Definity pueden “actuar”. Pueden modificar la asignación de recursos a mitad de ejecución, detener un trabajo antes de que propague errores o adelantarse a una canalización si detectan que los datos ascendentes están obsoletos.
Impacto en el mundo real: eficiencia sobre elasticidad
El valor de este enfoque es más visible en entornos donde los recursos son finitos. Para las empresas que ejecutan infraestructura local, la incapacidad de “ampliarse” instantáneamente en la nube significa que cada consulta ineficiente se traduce directamente en costos de hardware desperdiciados.
Nexxen, una plataforma de tecnología publicitaria, sirve como caso de estudio principal para esta transición. Al enfrentar cargas de trabajo de Spark a gran escala en las instalaciones, el equipo de ingeniería de Nexxen luchó no solo con las fallas, sino también con el creciente costo de la ineficiencia.
Después de implementar Definity, los resultados fueron inmediatos:
– Optimización: El equipo identificó 33 % de todas las oportunidades de optimización durante la primera semana.
– Eficiencia: Los esfuerzos de optimización y solución de problemas se redujeron en un 70%.
– Capacidad: La plataforma liberó suficiente capacidad de infraestructura para permitir el crecimiento de la carga de trabajo sin la necesidad de nuevas inversiones en hardware.
Los nuevos retos de la ingeniería de datos
El ascenso de Definity indica un cambio más amplio en la industria: Las operaciones de canalización de datos se están convirtiendo en un problema de infraestructura de IA.
A medida que los canales de datos pasan de respaldar paneles de control simples a impulsar agentes de inteligencia artificial autónomos, el margen de error ha desaparecido. La transición de “observar” una falla a “prevenirla” mediante inteligencia en ejecución ya no es solo un lujo para la optimización: se está convirtiendo en un requisito para la confiabilidad de toda la pila de IA.
Conclusión
Al incorporar agentes directamente en la capa de ejecución, Definity está trasladando las operaciones de datos de un modelo reactivo de “arreglarlo más tarde” a un sistema proactivo en tiempo real. Este cambio es fundamental a medida que las empresas avanzan hacia la IA agente, donde la integridad de los datos es la base de la toma de decisiones autónoma.
