Sistema de evaluación
Compara las respuestas de tu modelo entrenado contra un modelo baseline. Un modelo juez (LLM-as-Judge) decide cuál responde mejor en cada pregunta y te da el win rate, el score y la latencia.
Disponibilidad por plan
La evaluación, los experimentos y la automatización se abren desde el plan Starter+. La pantalla de trazas requiere Growth+.
| Plan | Evaluación | Ejecuciones al mes | Trazas |
|---|---|---|---|
| Gratuito | No incluida | — | No |
| Starter | Sí | 100 | No |
| Growth | Sí | 500 | Sí |
| Professional | Sí | Ilimitadas | Sí |
Cada ejecución cobra créditos según el número de preguntas de test. Si conectaste tu propia API key del proveedor del juez, no se cobra: pagas los tokens directamente a tu proveedor.
Cómo funciona
- Cada pregunta de test se envía a tu modelo entrenado y al modelo baseline.
- El modelo juez recibe las dos respuestas (y la respuesta esperada, si la escribiste).
- El juez califica cada respuesta con las métricas que elegiste y marca un ganador.
- AstrApp junta los resultados de todas las preguntas en un resumen.
Abre la evaluación
En el menú lateral, entra a Entrenar › Evaluación y haz clic en Nueva Configuración.
Elige los modelos
Escribe un nombre para la configuración y selecciona tu modelo entrenado. Después elige el tipo de baseline:
- Modelo LLM: un modelo de OpenAI, Anthropic, Together AI, Cohere u Ollama.
- Versión anterior del modelo: para medir si la nueva versión mejora.
- Modelo personalizado: otro de tus modelos.
Agrega las preguntas de test
Agrega las preguntas con las que quieres evaluar. En cada una puedes escribir una respuesta esperada (opcional, ayuda al juez) y etiquetas.
Configura el juez
Elige el proveedor y el modelo del juez, una plantilla de prompt (Evaluación General, Comparación de Modelos o Personalizado) y el prompt del sistema.
Usa OpenAI o Anthropic como juez
La lista de proveedores también muestra Together AI, Cohere y Ollama, pero al ejecutar la evaluación solo se aceptan jueces de OpenAI y Anthropic. Con otro proveedor, la ejecución responde con error y no cobra nada.
Elige las métricas y guarda
Activa las métricas estándar que quieras y ajusta su umbral de aprobación. También puedes agregar métricas personalizadas con nombre, descripción y umbral.
Guarda con Guardar como Borrador o con Guardar y Activar. Solo las configuraciones activas se pueden ejecutar.
Ejecuta y revisa los resultados
En la tarjeta de la configuración, abre el menú y elige Ejecutar. Cada configuración admite una ejecución a la vez. Cuando termine, haz clic en Ver Resultados.
Métricas
Métricas estándar
| Métrica | Qué mide |
|---|---|
| Precisión | Qué tan correctas son las respuestas. |
| Relevancia | Qué tan relevante es la respuesta a la pregunta. |
| Coherencia | Qué tan coherente y clara es la respuesta. |
| Alucinación | Detecta información inventada. |
| Toxicidad | Detecta contenido tóxico u ofensivo. |
Resumen de resultados
Win rate
Porcentaje de preguntas en las que el juez prefirió a tu modelo entrenado.
Score promedio
Promedio de la calificación que el juez dio a las respuestas.
Latencia
Tiempo de respuesta promedio de tu modelo, en milisegundos.
Debajo del resumen ves una gráfica que compara el score de cada pregunta y la tabla de resultados detallados: pregunta, ganador y score.
Cómo leer el win rate
Arriba de 50%, tu modelo gana más preguntas de las que pierde contra el baseline. Abajo de 50%, el baseline responde mejor: revisa las preguntas que tu modelo pierde y agrega ejemplos de esos casos a tu dataset antes de volver a entrenar.
Estados de una ejecución
| Estado | Etiqueta | Significado |
|---|---|---|
pending | Pendiente | La ejecución está en cola. |
running | Ejecutando | El juez está evaluando las preguntas. |
completed | Completado | Ya puedes ver los resultados. |
failed | Fallido | La ejecución no terminó; revisa el error. |
cancelled | Cancelado | La ejecución se detuvo antes de terminar. |
Experimentos, automatización y trazas
Las otras tres entradas de Entrenar en el menú lateral.
Experimentos
Lista los experimentos de Opik de tu organización con el promedio de cada calificación. Disponible desde Starter+. El botón Nuevo experimento todavía no guarda: créalos por API.
Automatización
Reglas que califican trazas con un LLM juez. Disponible desde Starter+.
Trazas
Las trazas de inferencia del sistema de evaluación integrado de la app. Disponible desde Growth+. Las trazas de Opik se consultan por API.
Reglas de automatización
Una regla evalúa trazas automáticamente, sin lanzar cada evaluación a mano. Al crearla en Entrenar › Automatización defines:
| Campo | Qué defines |
|---|---|
| Información básica | Nombre, descripción y si la regla nace habilitada. |
| Alcance | Todas las trazas o solo las de proyectos específicos. |
| LLM evaluador | Proveedor y modelo que califican cada traza. |
| Prompt template | El prompt del juez. Inserta datos de la traza con {{variable}} y mapea cada variable. |
| Score | Nombre y descripción del score que se registra. |
| Muestreo | Porcentaje de trazas que se evalúan (de 0 a 100%). |
En la lista de reglas las activas o desactivas con un interruptor y las editas o eliminas.
Ciclo de mejora
- Entrena tu modelo (Entrenamiento).
- Evalúa contra un baseline con las mismas preguntas de test.
- Analiza el win rate y las preguntas que tu modelo pierde.
- Mejora tus datos: corrige ejemplos débiles y agrega los casos que fallan.
- Vuelve a entrenar y compara la nueva versión contra la anterior.