La recuperación de información es un proceso que ha evolucionado significativamente en los últimos años. Desde la búsqueda simple de palabras clave hasta la búsqueda agente RAG, hemos aprendido a mejorar la forma en que los motores de búsqueda comprenden y responden a nuestras preguntas.
En un principio, los sistemas de búsqueda estaban diseñados para buscar palabras clave en documentos y devolver resultados que coincidían con el texto. Sin embargo, esta aproximación tenía una limitación fundamental: no entendía el lenguaje. Trataba palabras como símbolos, no significado. Sinónimos, ambigüedad y cualquier intención compleja eran esencialmente invisibles.
La búsqueda semántica revolucionó este enfoque al representar el texto como lenguaje. Esto se hace utilizando vectores o representaciones numéricas de alta dimensión que pueden entender el significado. Por ejemplo, el café podría ser representado como 0 1 0, mientras que la casa podría ser representada como 1 0 0. Estos embeddings no surgen de la nada; se aprenden mediante grandes redes neuronales entrenadas en grandes corpora de texto.
La búsqueda semántica convierte tus palabras en un tipo de mapa. Así que el sistema sabe que el espresso y el café están apuntando a un lugar muy similar. Esto permitió a los sistemas de búsqueda entender la intención. Incluso si las palabras exactas no se utilizaron, todavía se podían encontrar documentos relevantes.
La búsqueda híbrida surgió, puentes entre la precisión de la búsqueda por palabras clave y la recuperación semántica. Los sistemas híbridos comenzaron a surgir, puentes entre la precisión de la búsqueda por palabras clave y la recuperación semántica. Por primera vez, en lugar de solo coincidir con el texto, la búsqueda fue capaz de aproximarse al entendimiento.
Luego, surgió el mundo de los modelos de lenguaje grande (LLM). Estos modelos están entrenados en grandes corpora de texto para aprender patrones en los datos. Los LLM no recuperan hechos; cuando se les pide, predicción del token o palabra más probable para una respuesta basada en los patrones que aprendieron del entrenamiento de datos.
Sin embargo, los LLM tienen un problema. Solo utilizan conocimiento específico que aprendieron durante un proceso de entrenamiento largo y costoso. Realmente, eso significa que cualquier conocimiento está bloqueado solo a los documentos que ese LLM específico fue entrenado antes de un cierto punto en el tiempo.
La solución fue la búsqueda de recuperación y generación (RAG). La idea es muy simple. El usuario hace una pregunta, el sistema hace una búsqueda de documentos relevantes utilizando una base de conocimientos externa. Esta recuperación se utiliza para ampliar el prompt del LLM y se genera un respuesta final.
La RAG tradicional no es perfecta. No puede adaptarse a nuevos escenarios. Y de repente estamos de vuelta al problema de la búsqueda tradicional. La respuesta es solo tan buena como la búsqueda misma.
Sin embargo, en lugar de un solo paso de recuperación, los pipelines agregaron re-rankers para reordenar los resultados para ser más relevantes. Las consultas de los usuarios se reescribieron o se expandieron para mejorar la recuperación. Estos sistemas eran mucho más precisos, pero todavía fundamentalmente estáticos.
Luego, entró el próximo disruptor: los agentes. Los agentes son sistemas que utilizan LLM y herramientas para realizar tareas de manera autónoma. De repente, nos movimos de los simples pipelines a sistemas de toma decisiones complejas.
Los agentes tienen una variedad de herramientas, como LLM, memoria, planificación, críticos, recuperadores y muchos más. Los agentes se convirtieron en tomadores de decisiones autónomas, planeando y ejecutando tareas complejas.
En lugar de la recuperación lineal RAG, cuando el usuario hace una pregunta, un agente AI decidirá si la recuperación es necesaria, dónde buscar, qué preguntas hacer, cuando se obtiene suficiente información y, luego, generar una respuesta final. Los agentes pueden comparar fuentes, validar reivindicaciones, refinar consultas y iterar.
La recuperación ya no es fija; es una herramienta invocada como parte de la razón. Esto abre un mundo de posibilidades. Ahora, los sistemas RAG agente son capaces de investigación multipaso, síntesis de documentos cruzados y comportamiento adaptativo general.
En resumen, la evolución de la recuperación de información ha sido un proceso continuo de mejora y innovación. De la búsqueda simple a la inteligencia artificial agente, hemos aprendido a mejorar la forma en que los motores de búsqueda comprenden y responden a nuestras preguntas. Y el problema más difícil de la inteligencia artificial no es la generación; es decidir qué ver.
Fuente: YouTube
