Cómo puede manifestarse
El problema puede ser evidente, como una referencia a un documento inexistente. También puede ser sutil: el modelo conserva la mayor parte de un procedimiento, pero añade una condición que no aparece en ninguna fuente. Una respuesta bien redactada puede mezclar afirmaciones correctas con una conclusión sin apoyo.
Conviene distinguir la generación creativa de una afirmación factual. Inventar un nombre para un producto puede ser la tarea solicitada; atribuir una política inventada a una empresa no lo es. Para evaluar la respuesta, primero debe quedar claro qué tipo de resultado se esperaba.
Ejemplo didáctico: una condición comercial inexistente
Una persona pregunta si un servicio incluye soporte durante el fin de semana. El catálogo entregado al asistente solo especifica atención de lunes a viernes. La respuesta «Sí, tienes soporte todos los días» sería una afirmación sin respaldo, aunque el resto del mensaje describiera correctamente el servicio.
Una respuesta adecuada al ejemplo tendría que limitarse a lo que dice el catálogo o señalar que falta información para confirmar una excepción. El ejemplo está inventado para explicar el fallo; no representa una incidencia real de PotenzIA ni de un proveedor.
Cómo comprobar una respuesta
Identifica las afirmaciones que importan para la decisión: fechas, importes, condiciones, identidad de personas o pasos de un procedimiento. Busca después la fuente original y comprueba si respalda exactamente lo que se afirma, incluidas sus excepciones.
Pedir al mismo modelo que confirme su respuesta puede servir para revisarla, pero no es una verificación independiente. Una referencia generada también puede ser errónea. Abre el enlace, comprueba que corresponde al tema y localiza la parte que justifica la conclusión.
Qué ayuda a reducir el problema
Un diseño puede aportar documentos relevantes, pedir que se diferencie lo conocido de lo incierto y permitir que el sistema reconozca cuándo no encuentra respuesta. También puede restringir las acciones que se realizan a partir del texto generado.
Estas medidas necesitan pruebas. Incluye preguntas con respuesta disponible, preguntas ambiguas y preguntas que la documentación no resuelve. Si solo pruebas los casos fáciles, no sabrás si el sistema reconoce sus límites cuando la información falta o entra en conflicto.
RAG y citas no eliminan todas las alucinaciones
Recuperar documentos puede mejorar el fundamento de una respuesta, pero todavía puede fallar la búsqueda o la interpretación. Una cita añadida al final tampoco certifica que cada frase proceda de esa fuente. Hay que evaluar tanto el documento seleccionado como la respuesta que se construye con él.
La revisión debe ajustarse a las consecuencias. Un borrador interno admite un proceso distinto al de una comunicación que compromete a una empresa. Define qué puede publicarse tras validaciones automáticas y qué requiere revisión humana, sin presentar esa revisión como una garantía de ausencia total de errores.
Fuentes y documentación
Documentación del proveedor o del organismo citado. Los ejemplos de esta ficha son didácticos; no describen resultados de clientes.