En la actualidad, los equipos de datos pasan la mayor parte de su tiempo gestionando datos y manteniendo tuberías en lugar de entregando insights valiosos. Esto se debe a que la ingeniería de datos es un proceso complejo y siloizado, donde los datos se encuentran en diferentes nubes, almacenes operativos, lagos de datos y APIs, cada uno con sus propias restricciones. Los ingenieros de datos dependen de una mezcla de trabajos programados, procedimientos almacenados, scripts complicados y lógica de transformación para mantener los datos en movimiento.
Imagina un agente construido específicamente para la integración de datos que pueda manejar todos los pasos que tomaría un ingeniero de datos. Los agentes AI pueden entender no solo uno, sino todos los orígenes de datos en su sistema, incluyendo diferentes estructuras de datos, como datos relacionales, no estructurados y datos de API. También pueden entender el metadatos y las relaciones de entidades, lo que es fundamental para que los agentes y el AI puedan entender los diferentes términos comerciales y significados detrás de los datos mismos.
Lo que resulta interesante es que estos agentes pueden manejar la complejidad de crear una tubería de datos con múltiples uniones, transformaciones, lógica y reglas comerciales. Bajo todo esto, los agentes pueden determinar el mejor mecanismo para entregar esos datos, ya sea a través de ETL, ELT, captura de cambios de datos, que es replicación, así como streaming o integración no estructurada.
Llama la atención cómo estos agentes AI pueden insertarse en el flujo de trabajo completo de un equipo de ingeniería, desde solicitudes con sistemas de ticketing que alimentan directamente a los agentes mismos. Cuando un agente de integración de datos construye una tubería, también puede determinar qué objetivos alimentar con los datos.
Un sistema agente utiliza modelos de lenguaje grande para analizar las solicitudes de lenguaje natural y la intención de los usuarios y traducirlas en acciones estructuradas. El aprendizaje por refuerzo también se utiliza para que estos agentes puedan mejorar sus planes con el tiempo recompensando con éxito las ejecuciones de la tubería.
Los agentes AI no solo generan texto, también capturan APIs con llamadas de herramienta. Y la llamada de herramienta ayuda para que los agentes puedan utilizar aplicaciones y sistemas que se necesitan para conectarse a los orígenes de datos, entender los metadatos y llevar a cabo las transformaciones.
En resumen, los agentes AI para la integración de datos resuelven muchos desafíos y generan valor para los equipos de ingeniería de datos. Los ingenieros de datos pueden trabajar en menos arreglos repetitivos y tener más tiempo para enfocarse en la integración compleja y el trabajo estratégico. Los usuarios comerciales pueden obtener acceso más rápido a datos confiables sin largas transferencias de mano. Y los agentes AI ayudan a generar tuberías de datos más limpias y frescas que alimentan a modelos de análisis y aprendizaje automático con menos fricción y mayor velocidad y precisión.
La integración de datos en la era de la inteligencia artificial es un proceso adaptativo y orientado a objetivos listo para apoyar a la próxima generación de AI.
Fuente: YouTube
