Tu empresa tiene años de contratos, procedimientos y decisiones documentadas. Un modelo de IA con una ventana de contexto de un millón de tokens permite incorporar grandes volúmenes de ese material en una consulta. Parece el camino más directo: darle toda la información y pedirle que resuelva.
Sin embargo, esos documentos pueden incluir una política reemplazada, una excepción vigente y un contrato reservado a un equipo. Aunque todo entre en la consulta, todavía hace falta determinar qué información corresponde utilizar para responder.
Por eso, los agentes de IA pueden seguir necesitando RAG con ventanas de contexto de un millón de tokens. La elección depende de la tarea, las fuentes y las condiciones de uso.
RAG, o generación aumentada por recuperación, permite buscar y seleccionar información antes de generar una respuesta. Progress propone complementar esa capacidad con el contexto largo: recuperar fuentes pertinentes y darle al modelo espacio para trabajar con ellas.
Para evaluar esa combinación, la organización necesita comprobar cuánto de la información disponible logra utilizar el modelo en sus tareas reales.
Ventanas de contexto: más capacidad exige evaluar la precisión
Una ventana de contexto es la cantidad de información que un modelo puede procesar en una interacción. Se mide en tokens, unidades que representan fragmentos de texto y otros contenidos. Su tamaño indica cuánto material puede incorporar, pero no alcanza para anticipar la calidad de una respuesta.
Esa diferencia aparece en Lost in the Middle, el estudio de Nelson F. Liu y colaboradores publicado en 2023. Los modelos evaluados respondían mejor cuando la información relevante estaba al principio o al final del contexto, mientras que su desempeño podía deteriorarse cuando aparecía en el medio.
En 2024, Cheng-Ping Hsieh y colaboradores de NVIDIA también registraron, mediante la evaluación RULER, caídas de rendimiento al aumentar la longitud y la complejidad del contexto. Estos resultados corresponden a los modelos estudiados y refuerzan la necesidad de evaluar cada solución con tareas representativas.
En una tarea de atención al cliente, por ejemplo, esa evaluación debería comprobar si el agente distingue una condición contractual específica de una política general. Su utilidad depende de reconocer la excepción que cambia la respuesta y de contar con las fuentes necesarias para hacerlo.
RAG y contexto largo: una combinación según la tarea
La selección de fuentes mediante RAG también puede fallar: si una búsqueda deja afuera un documento decisivo, el modelo trabaja con evidencia incompleta. Esa limitación hace necesario evaluar las ventajas del contexto largo según la tarea.
En 2024, Zhuowan Li y otros colaboradores encontraron que, con recursos suficientes, los modelos de contexto largo superaban en desempeño promedio a RAG en las pruebas realizadas. Como RAG conservaba una ventaja de costo, propusieron un enfoque híbrido.
La elección depende entonces del trabajo. Analizar íntegramente un expediente acotado puede resultar valioso, pero responder consultas sobre un archivo que cambia continuamente exige seleccionar documentos y versiones para cada solicitud.
Para una organización, conviene comparar ambas opciones con los mismos casos y criterios de aceptación. Además de verificar la respuesta, esa comparación debe considerar los recursos necesarios para obtenerla.
Las ventanas de contexto más grandes también pueden cambiar la manera de preparar los documentos para RAG. En este fragmento, Jerry Liu, cofundador y CEO de LlamaIndex, explica qué puede simplificarse y por qué la calidad de la información sigue siendo importante.
Fuente: RAG for VPs of AI: Jerry Liu
Costos de IA: procesar todo o recuperar lo necesario
Enviar documentos completos y recuperar únicamente pasajes relevantes implica procesar cantidades diferentes de información. Si el agente necesita varias interacciones para completar una tarea, la diferencia de consumo puede acumularse. Los mecanismos de caché pueden reducir el costo del contenido reutilizado, aunque el ahorro depende del proveedor y de las condiciones de uso.
Por eso, una comparación útil debería medir el consumo durante la tarea completa. También debería registrar cuánto trabajo humano queda pendiente: revisar fuentes, corregir respuestas o reconstruir una explicación.
Un piloto puede reunir esos datos junto con las tareas completadas y las intervenciones necesarias. Así, el equipo puede estimar cuánto cuesta obtener un resultado que realmente pueda utilizar.
Ese criterio permite evaluar la conveniencia económica actual. Para sostenerla en el tiempo, también importa conservar opciones frente a los proveedores.
Dependencia del proveedor y capacidad de cambiar
Progress propone mantener separada la recuperación de información del modelo que genera las respuestas. Esa separación puede facilitar la sustitución del modelo generador, aunque cambiar el modelo de embeddings —utilizado para construir el índice de búsqueda— puede exigir reconstruir ese índice.
Desde la perspectiva de la organización, conviene convertir la posibilidad de cambiar en un criterio verificable.
Antes de elegir una solución, el equipo puede definir qué debería conservar: documentos preparados, referencias de origen, casos de evaluación y criterios de aceptación.
Con esos elementos, una futura sustitución puede comprobarse sobre tareas conocidas. Además de verificar que la conexión funcione, será posible revisar si el nuevo modelo interpreta las excepciones y produce resultados aceptables.
La continuidad también exige mantener las restricciones que determinan qué información puede recibir cada agente.
Permisos y trazabilidad para los agentes
La recuperación debe respetar los permisos de acceso y registrar las fuentes utilizadas para responder. Una ventana de contexto amplia no reemplaza esos controles.
Llevarlos a la práctica exige explicitar reglas que muchas organizaciones todavía resuelven mediante consultas personales. Ante una excepción comercial, por ejemplo, hace falta identificar quién la aprobó, cuánto tiempo rige y quién puede consultarla.
Con esas definiciones, la trazabilidad puede ayudar a distinguir si una respuesta incorrecta provino de un documento desactualizado, una búsqueda incompleta o una interpretación errónea. Esa distinción permite asignar la corrección y evitar que el problema se repita.
En una solución de Agentic RAG, el agente puede decidir cuándo buscar información adicional y ajustar la búsqueda según lo que encuentra. Para evaluarla, conviene observar si busca otra fuente cuando falta información, expone contradicciones y solicita revisión cuando la evidencia resulta insuficiente.
Como planteamos en el artículo Anthropic no hizo Claude para resolver la ingeniería de tu empresa, incorporar agentes exige definir permisos, reglas y criterios de aprobación alrededor de la capacidad del modelo. Con esas condiciones, cada área puede establecer qué resultados considera válidos y qué acciones requieren intervención antes de ampliar su autonomía.
Preparar el conocimiento para activar agentes de IA
La discusión sobre RAG y ventanas de contexto de un millón de tokens lleva a decisiones concretas: qué fuentes tienen autoridad, quién puede utilizarlas y qué evidencia necesita una respuesta para incorporarse al trabajo.
Para comenzar, una organización puede elegir una tarea y reunir sus documentos, excepciones y validaciones. Ese recorte permite comprobar si el agente utiliza el conocimiento adecuado antes de ampliar su alcance.
En Alpha Discovery, trabajamos con tu organización para preparar las fuentes, explicitar las reglas y definir las validaciones que necesitan los agentes de IA antes de incorporarse a la operación.
¿Tu organización tiene definido qué conocimiento necesita cada agente y qué evidencia debe presentar antes de actuar?
