Métricas
Qué medir para saber si tu modelo es bueno: métricas de operación, que salen solas de las trazas, y métricas de calidad, que registras como calificaciones.
¿Qué mide AstrApp?
En Opik hay dos clases de métricas:
| Clase | Ejemplos | De dónde sale |
|---|---|---|
| Operación | Latencia, tasa de error, tokens usados | Se calcula de tus trazas y spans. |
| Calidad | Relevancia, corrección, alucinación, calificación del usuario | La registras tú como feedback score, con el nombre que elijas. |
Ideas para bots de ventas
Estos criterios no se calculan solos: son nombres que puedes usar en tus calificaciones.
Calificación de leads
Qué tan bien distingue a los prospectos con intención real de compra.
Nombre sugerido: lead_qualification
Manejo de objeciones
Si responde bien a objeciones de precio, tiempo o confianza.
Nombre sugerido: objection_handling
Llamado a la acción
Si guía la conversación hacia el siguiente paso.
Nombre sugerido: call_to_action
Exactitud de la información
Si los precios, características y disponibilidad que da son correctos.
Nombre sugerido: information_accuracy
En la app
- Entrenar › Evaluación (Starter+) evalúa tus modelos con LLM-as-Judge y métricas propias del sistema de evaluación integrado. El flujo está en la guía de evaluaciones.
- Entrenar › Experimentos muestra el promedio de cada calificación por experimento (ver Experimentos).
API
Rutas bajo /api/v1/projects/{projectId}.
Registrar una métrica de calidad
Cada medición es una calificación sobre una traza. El detalle de los campos está en Feedback.
curl -X POST "https://app.astrapp.lat/api/v1/projects/$PROJECT_ID/opik/feedback" \
-H "Authorization: Bearer sk_live_xxxxxxxxxxxxx" \
-H "Content-Type: application/json" \
-d '{ "target_id": "ID_DE_LA_TRAZA", "name": "objection_handling", "value": 0.7 }'GET /opik/feedback te devuelve el promedio de cada nombre en stats.byName.
Consultar métricas de operación
GET /opik/dashboard resume latencia, errores y tokens (ver Dashboard, que hoy está en revisión). También puedes calcularlas tú con durationMs y status de cada traza.
Umbrales
No disponible por ahora
GET y POST /opik/metrics existen para definir umbrales por métrica, pero hoy no leen ni guardan la configuración de tu proyecto. Lo mismo pasa con las evaluaciones de /opik/evaluations, que usan esos umbrales.
Límites y notas
- Usa la misma escala para todas las calificaciones de un mismo nombre (por ejemplo, de 0 a 1): los promedios mezclan todo lo que se llame igual.
- Los nombres distinguen mayúsculas:
relevanceyRelevanceson dos métricas. - Mientras los umbrales no estén disponibles, juzga una versión comparándola con la anterior sobre el mismo dataset, no contra una cifra fija.