¿Qué es Opik?
Opik es la capa de observabilidad de AstrApp: registra cada llamada a un modelo de lenguaje, te deja calificarla y comparar versiones de tu modelo con datos, no con intuición.
Cómo funciona
Opik es una plataforma de código abierto para observar modelos de lenguaje. AstrApp opera su propio servidor de Opik y le da a cada organización un proyecto aparte.
Cada vez que tu modelo responde, Opik guarda una traza con lo que entró, lo que salió y cuánto tardó. Sobre esas trazas agregas calificaciones, armas datasets de evaluación y registras experimentos para saber si una versión nueva de tu modelo es mejor que la anterior.
Trazas
El registro de una operación: entrada, salida, metadatos y duración.
Spans
Los pasos dentro de una traza: llamada al modelo, búsqueda o herramienta.
Feedback
Una calificación con nombre y valor sobre una traza o un span.
Datasets
Pares de entrada y salida esperada para evaluar tu modelo.
Experimentos
Una corrida de tu modelo sobre un dataset, con sus calificaciones.
Dashboard
Métricas agregadas: volumen, latencia, errores y tokens.
En la app
No tienes que instalar nada: AstrApp registra trazas por su cuenta cuando usas el chat, la inferencia de tus modelos, la evaluación de un modelo, la subida de documentos o el conector de Kommo. La lista completa está en Auto-tracing.
| Menú | Qué muestra | Plan |
|---|---|---|
| Entrenar › Experimentos | Los experimentos de Opik de tu organización, con el promedio de cada calificación. | Starter+ |
| Entrenar › Trazas | Las trazas de inferencia del sistema de evaluación integrado de la app. | Growth+ |
Para evaluar un modelo con LLM-as-Judge desde la app, usa Entrenar › Evaluación; el flujo está en la guía de evaluaciones.
La interfaz web de Opik es interna
Cómo se usa
- Genera trazas. Usa el chat o la inferencia de tu modelo y las trazas aparecen solas. Si tu aplicación corre fuera de AstrApp, regístralas con
POST /opik/traces(ver Trazas). - Califícalas. Agrega un feedback score a cada traza, por ejemplo
relevanceouser_rating(ver Feedback). - Arma un dataset de evaluación. Reúne preguntas con su respuesta esperada que tu modelo no haya visto al entrenar (ver Datasets).
- Compara versiones. Registra un experimento por versión sobre el mismo dataset y compara los promedios de sus calificaciones (ver Experimentos).
API
Todos los endpoints de Opik cuelgan de un proyecto tuyo.
La ruta base es https://app.astrapp.lat/api/v1/projects/{projectId}, donde {projectId} es el UUID de uno de tus proyectos. Te autenticas con la sesión de la app o con una API key en el header Authorization: Bearer sk_live_….
| Recurso | Ruta | Funciona con |
|---|---|---|
| Trazas | /opik/traces | Sesión o API key |
| Spans | /opik/spans | Sesión o API key |
| Feedback | /opik/feedback | Sesión o API key |
| Datasets | /opik/datasets | Sesión o API key |
| Experimentos | /opik/experiments | Sesión o API key |
| Dashboard | /opik/dashboard | Sesión o API key (en revisión) |
| Prompts | /opik/prompts | Solo sesión de la app |
| Experimentos A/B, evaluaciones, umbrales y configuración | /opik/ab-experiments, /opik/evaluations, /opik/metrics, /opik/config | No disponible por ahora |
Las respuestas van envueltas en { "success": true, "data": … }, salvo las de prompts, que solo traen data.
Límites y notas
- Opik viene incluido desde el plan Growth+ (ver Planes y precios). El plan que pide cada pantalla está en la tabla de En la app.
- Las trazas, spans, feedback y experimentos se guardan por organización: da igual qué
{projectId}uses, todos tus proyectos ven los mismos datos de Opik. - La ingesta de trazas acepta hasta 500 peticiones por minuto; al pasarte recibes un
429. - Si el servidor de Opik no responde, los listados devuelven una lista vacía y, en la mayoría, un campo
warningcon el aviso.