Construimos en vez de envolver. Este es el motivo.
Un envoltorio te da una demo en una semana. Un sistema te da una respuesta que puedes defender.
Guía prácticaNúmero de serie MSK–P/005
Cómo evaluar un sistema de IA antes de confiar en él.
La confianza es un número que has medido, no una sensación que tuviste en la demo.
Por Ana Pérez3 min de lectura
La demo es la peor evaluación posible.
Una demo la ejecuta la persona que construyó el sistema, con entradas que ella misma eligió, delante de gente que quiere que funcione. Ninguna de esas condiciones se da un martes cualquiera. El sistema se va a encontrar un documento escaneado torcido, una pregunta formulada con prisa por alguien y un caso que nadie pensó en incluir. Si la única prueba que tienes es la demo, no tienes ninguna prueba.
Eso no significa que el sistema sea malo. Significa que todavía no lo sabes, y el objetivo de una evaluación es sustituir el “no lo sabemos” por un número y una lista de los casos que hay detrás.
Construye el conjunto de evaluación con tu propio trabajo
Toma las preguntas que ya le hacen a tu equipo. Toma los documentos que de verdad buscan. Toma las decisiones que ya toman a mano, y anota cuál era el resultado correcto. Cincuenta casos reales valen más que cinco mil inventados, porque los inventados llevarán las mismas suposiciones con las que se construyó el sistema.
Etiqueta qué significa correcto antes de ejecutar nada
Hazlo caso por caso, antes de la primera ejecución. Para un lector de documentos, correcto es el pasaje del que debería salir la respuesta. Para un detector, es la lectura que habría marcado un técnico. Para un agente, es la acción que habría tomado un compañero, y las acciones que nunca tomaría.
Mide las partes por separado
Un sistema que responde mal puede fallar en la recuperación, en el modelo o en las reglas que lo rodean. Si solo puntúas la respuesta final, no puedes saber cuál. Puntúa cada parte por su cuenta: si volvieron los pasajes correctos, si el modelo razonó bien sobre lo que se le dio, si las barreras aguantaron cuando la respuesta no estaba.
Puntúa las negativas como resultados
Un sistema que dice “no tengo eso” cuando falta la fuente se está comportando correctamente, y debería puntuarse como acierto. Un sistema que adivina con fluidez está fallando, por bien que suene la gramática. Cuenta las dos cosas y lee los dos números juntos.
Sigue midiendo después del lanzamiento
Las entradas cambian debajo de un sistema. Proveedores nuevos, frases nuevas, una plantilla que alguien editó. Una puntuación que estaba bien en el lanzamiento no te dice nada sobre el otoño. Ejecuta la misma evaluación de forma periódica, vigila el número, y trata una caída como tratarías una caída del servicio.
¿Trabajas en algo *parecido*?
Cuéntanos qué estás construyendo. Respondemos con claridad sobre si la IA es la herramienta adecuada.
Hablemoso escribe a hello@maistik.studio