Evaluar sistemas RAG es más difícil de lo que parece.

Metodología.

Todo el mundo prueba el modelo. Casi nadie prueba el paso de recuperación con el mismo rigor, y ahí es donde nacen la mayoría de las respuestas incorrectas. Por eso separamos dos preguntas que se suelen mezclar en una: si recuperamos los pasajes correctos y si respondimos bien dado lo que recuperamos.

Construimos el conjunto de evaluación con preguntas reales, no inventadas: tickets de soporte, registros de búsqueda, las preguntas que tu equipo ya recibe. Etiquetamos los pasajes que deberían aparecer para cada pregunta, así la recuperación tiene su propia puntuación, separada de la generación.

Resultados.

Un sistema RAG puede superar todas las pruebas rápidas que hace una persona a mano, porque una persona tiende a hacer las preguntas que el sistema resuelve bien, sobre los documentos que el sistema ya indexó bien. Los huecos aparecen en las preguntas que nadie pensó en hacer.

Una vez que recuperación y generación se miden por separado, los arreglos salen más baratos y se encuentran más rápido. Un problema de fragmentación deja de parecer un problema del modelo. Un índice desactualizado deja de parecer una alucinación que no puedes explicar.

También probamos qué pasa cuando la respuesta no está en los documentos. Un sistema que inventa en vez de decir “no tengo esa información” es peor que no tener sistema, porque esconde su propio fallo detrás de una gramática correcta. Negarse a responder bien es un resultado que medimos, no un detalle secundario.

Límites.

Nada de esto elimina la necesidad de criterio. Alguien tiene que decidir qué significa “correcto” para tus documentos, tus clientes y el riesgo que puedes asumir. Construimos la evaluación con tu equipo, no para tu equipo, porque ese criterio no se traslada bien de una empresa a otra.

Conclusiones.

Ejecutamos la evaluación de forma periódica, no una sola vez en el lanzamiento. Llegan documentos nuevos, otros se retiran, y una forma de preguntar que antes recuperaba el pasaje correcto puede dejar de funcionar sin que nadie se dé cuenta. Tratar la evaluación como un filtro que se pasa una única vez es cómo un sistema que superó todas las pruebas en marzo empieza a dar respuestas incorrectas en otoño, sin que nadie pueda decir cuándo empezó.

Referencias

1. Lewis et al., “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”, 2020.
2. Es et al., “RAGAS: Automated Evaluation of Retrieval Augmented Generation”, 2023.