Calidad

Cada conversación le enseña un patrón al modelo, también las malas. Aquí ves cómo mide y limpia AstrApp la calidad de tus datos, y qué conviene revisar tú antes de entrenar.

La idea central

El modelo imita lo que ve. Una respuesta mediocre que se repite en el dataset se vuelve el comportamiento del modelo. Pocas conversaciones excelentes enseñan más que muchas mediocres.

Evaluar con IA

AstrApp califica tus conversaciones con un modelo evaluador y marca cada una como válida o inválida.

En Conversaciones › Ver todas, con la vista en Proyecto, selecciona las conversaciones que quieres revisar. En la vista Dataset la opción aparece deshabilitada.
Abre Procesar › Evaluar con IA, elige el modelo evaluador (Gemini 2.5 Flash por defecto) y revisa el costo estimado.
Haz clic en Evaluar. Al terminar ves cuántas quedaron válidas e inválidas y cuántas alucinaciones encontró.

Costo

Se cobra en créditos según el modelo y la cantidad de conversaciones. Si conectaste tu propia API key del proveedor de ese modelo, la evaluación usa tu llave y AstrApp no te cobra. Sin llave propia y sin saldo suficiente, la evaluación no arranca.

Qué revisa el evaluador

Juzga solo las respuestas del asistente, no los mensajes del usuario.

Criterio	Qué pide
Relevancia	Responde a lo que el usuario quiere, sin salirse del tema.
Fundamentación	Toda afirmación sale del contexto, de la fuente o del resultado de una herramienta. Una sola alucinación invalida la conversación completa.
Suficiencia	Responde todo lo que se preguntó, con el largo justo: ni cortada ni con relleno.
Fidelidad al system prompt	Respeta el rol, el dominio y el tono que define el system prompt.
Coherencia	Mantiene el contexto entre turnos, sin contradecirse ni repetirse.
Casos difíciles	Una pregunta aclaratoria ante algo ambiguo, un “no tengo esa información” honesto o un rechazo cortés cuentan como buenas respuestas.

Si la conversación usa herramientas, además revisa que el asistente llame a la herramienta correcta, con los parámetros correctos y en orden (llamada, resultado y una respuesta basada en ese resultado), sin llamadas innecesarias. Si no hay herramientas, esos criterios no cuentan.

Qué guarda en cada conversación

Dato	Qué significa
Estado	Válida o inválida. Las que no has evaluado quedan pendientes.
Score	De 0 a 1. En el detalle de la conversación lo ves en escala de 10.
Etiquetas	Hasta 3 por conversación válida: de calidad (`production_ready`, `high_quality`, `needs_review`) y de capacidades (`uses_tools`, `multi_turn`, `good_refusal`…).
Motivos	Solo en las inválidas: `too_short`, `off_topic`, `hallucination`, `missing_tool_call`, `wrong_tool_usage` o `incomplete`.
Alucinación	Si encontró datos inventados.

Cómo leer el score

Score	Resultado	Etiqueta
0.90 a 1.00	Válida, lista para entrenar sin cambios	`production_ready`
0.70 a 0.89	Válida, con mejoras menores	`high_quality`
0.50 a 0.69	Válida, pero pide revisión humana	`needs_review`
Menos de 0.50	Inválida	—

Una alucinación deja la conversación inválida sin importar lo demás.

Después de evaluar

Filtra por estado, revisa a mano las que quedaron en needs_review y manda las válidas a un dataset con A dataset en la barra de selección. El entrenamiento usa el dataset que elijas y no descarta solo las inválidas: arma el dataset únicamente con las que pasaron.

Limpieza sin costo

Dos herramientas programáticas: no usan IA ni cobran créditos.

Limpiar

En la vista Proyecto de Conversaciones, selecciona conversaciones y haz clic en Limpiar en la barra de selección. Aplica reparaciones automáticas:

Quita caracteres de control, mensajes de error de plataformas de chat y HTML sobrante.
Normaliza los roles y repara llamadas a herramientas mal formadas.
Quita mensajes repetidos o casi idénticos seguidos, y mensajes vacíos. Un mensaje sin texto que lleva llamadas a herramientas se conserva.

Limpieza

En Conversaciones › Limpieza eliges a cuáles aplicar (todas, solo pendientes o solo inválidas) y ves una vista previa:

Limpieza rápida: recorta y normaliza espacios, elimina mensajes vacíos y quita HTML o Markdown.
Regex avanzado: patrones listos para datos personales (emails, teléfonos, URLs e IPs pasan a [EMAIL], [TELÉFONO], [URL] e [IP]), de formato y de puntuación, o tu propio patrón.

Duplicados

Dónde descarta AstrApp las conversaciones repetidas y dónde te toca a ti.

Al importar con Datasets › Importar datos: una conversación con los mismos mensajes que otra (sin contar espacios) se descarta, dentro del archivo y contra las que ya tienes en el proyecto. Reimportar el mismo archivo no duplica nada.
Al combinar datasets: con Deduplicar por fingerprint (activada por defecto) se descartan las conversaciones con el mismo contenido completo, sin contar el system prompt. Gana la copia del dataset que elegiste primero.
Al generar con Síntesis: se descartan las conversaciones cuyo primer mensaje del usuario empieza igual que el de otra (se comparan los primeros 50 caracteres), y las que traen un primer mensaje del usuario o una última respuesta del asistente de menos de 10 caracteres.

Para lo que ya tienes, la Mini task Detectar duplicados marca las copias de un proyecto o dataset (mismo contenido, aunque cambien espacios o mayúsculas) con la etiqueta duplicada, sin borrarlas (ver Microagentes). Las conversaciones parecidas (la misma idea con otras palabras) no se detectan solas: búscalas al revisar tu muestra.

Checklist antes de entrenar

Buenas prácticas: AstrApp no revisa esta lista por ti.

Estructura

Al menos un mensaje del usuario y una respuesta del asistente
El mismo system prompt en todas las conversaciones del asistente
Cada llamada a herramienta tiene su resultado

Contenido

Respuestas completas y útiles
Sin información inventada
Tono consistente con el system prompt

Diversidad

Variedad de temas y escenarios
Distintos niveles de complejidad
Casos normales y casos difíciles

Limpieza

Sin duplicados ni casi duplicados
Sin conversaciones vacías o cortadas
Sin datos personales de clientes reales

Errores comunes

Qué aprende el modelo con cada error y cómo corregirlo.

Error	El modelo aprende…	Cómo corregirlo
Respuestas demasiado cortas (“Sí”, “Ok”)	A contestar con monosílabos.	Haz cada respuesta informativa y útil.
Respuestas demasiado largas	A ser verboso aunque la pregunta sea simple.	Ajusta el largo a la complejidad de la pregunta.
Datos inventados	A inventar precios o funciones con seguridad.	Verifica cada dato antes de incluirlo.
Conversaciones fuera de tema	A salirse de su rol.	Deja solo conversaciones de tu dominio.
Texto copiado sin adaptar (una FAQ tal cual)	A responder como documento, no como conversación.	Convierte la información en diálogo.
Datos desbalanceados	A dominar un tema y fallar en los demás.	Reparte las conversaciones entre tus temas.

¿Cuántas conversaciones necesitas?

No hay un número mágico: depende de cuántos temas y situaciones tiene que cubrir tu asistente. Dos referencias de AstrApp:

Entrenar por mí pide al menos 100 conversaciones y recomienda 400.
Tu plan pone topes a las conversaciones que manejas; revísalos en Planes y precios.

Empieza con un conjunto chico y bien revisado, entrena, evalúa el modelo y agrega conversaciones justo donde falla.

Consejos para mejorar la calidad

Revisa una muestra a mano

Si encuentras errores en la muestra, seguramente hay más en el resto.

Pide una segunda opinión

Otra persona detecta problemas de tono y naturalidad que tú pasas por alto.

Compara con conversaciones reales

Tus datos de entrenamiento deben ser al menos tan buenos como tu mejor atención real.

Incluye casos difíciles

Clientes molestos, preguntas ambiguas y peticiones fuera de alcance, no solo las fáciles.

Después de entrenar, evalúa el modelo

Evaluar con IA revisa tus datos. Para medir las respuestas del modelo ya entrenado usa Entrenar › Evaluación, disponible desde el plan Starter+.

Más en Sistema de evaluación.