Tres señales para entender una ejecución
Los registros describen sucesos concretos, como una conexión rechazada. Las métricas resumen cantidades a lo largo del tiempo, como duración o número de errores. Las trazas conectan pasos de una misma ejecución para seguir una petición a través de varios componentes.
En un sistema de IA puede interesar relacionar la búsqueda documental, la llamada al modelo y las herramientas utilizadas. Esa relación permite pasar de «la respuesta fue incorrecta» a una investigación más precisa: documento equivocado, dato ausente, operación fallida o interpretación inadecuada.
Ejemplo didáctico: un asistente tarda demasiado
Un asistente interno entrega una respuesta después de una espera que dificulta su uso. Una traza muestra el tiempo dedicado a recuperar documentos, preparar la respuesta y consultar una segunda herramienta. El equipo puede investigar el paso que concentra la espera en lugar de cambiar el modelo sin más información.
Después compara varios casos para comprobar si el problema es repetido o corresponde a una incidencia puntual. Este ejemplo es didáctico: no describe tiempos observados de una implantación ni garantiza que añadir una herramienta de observabilidad reduzca la latencia.
Cuándo conviene incorporarla
Conviene preparar señales desde las primeras pruebas si la solución encadena componentes o realiza acciones. Cuando algo falla, reconstruir a mano lo ocurrido puede resultar difícil si solo se conserva la respuesta final. Empieza por las preguntas que necesitas contestar para mantener el servicio.
Por ejemplo: qué petición falló, qué versión se utilizó, si se reintentó, qué herramienta devolvió el error y qué quedó pendiente. Una colección limitada de señales comprensibles suele ser más útil que guardar información sin saber qué decisión permitirá tomar.
Observabilidad, monitorización y evaluación
La monitorización suele seguir indicadores conocidos y activar avisos cuando cambian. La observabilidad aporta contexto para investigar por qué cambian y qué sucede en una ejecución concreta. La evaluación comprueba si el comportamiento cumple los criterios de calidad de la tarea.
Una aplicación puede responder rápido y sin errores técnicos, pero contestar mal. Por eso la duración y la disponibilidad no sustituyen las pruebas de calidad. La trazabilidad de una respuesta ayuda a investigarla; no demuestra por sí sola que sea correcta.
Qué registrar y qué evitar
Define la finalidad de cada dato registrado, quién puede verlo y cuándo debe eliminarse. Los prompts y las respuestas pueden incluir datos personales o información de una empresa. Registrar todo el contenido por comodidad puede crear copias innecesarias y complicar el control de acceso.
- Relaciona los pasos mediante un identificador de ejecución.
- Anota versiones de componentes, estados, duración y consumo necesarios para investigar.
- Evita almacenar claves, credenciales o contenido sensible sin una necesidad definida.
- Asigna un responsable a los avisos y comprueba que existe un procedimiento de respuesta.
Fuentes y documentación
Documentación del proveedor o del organismo citado. Los ejemplos de esta ficha son didácticos; no describen resultados de clientes.