¿Qué es una alucinación?

Una alucinación es el modo de fallo en el que un LLM produce una salida fluida que es factualmente incorrecta, inventada o no respaldada por el contexto proporcionado. No es un error que se pueda parchear, sino una propiedad de la forma en que los modelos de lenguaje muestrean a partir de una distribución de probabilidad, lo que significa que los sistemas de comercio deben diseñarse teniendo esto en cuenta, en lugar de esperar que desaparezca.

Definición

Técnicamente, la alucinación ocurre porque los LLM predicen el siguiente token por probabilidad y no por veracidad, por lo que continuarán con gusto una frase que suena convincente con números, nombres de producto o citas inventados cuando los datos de entrenamiento son escasos o el prompt está poco especificado. La gravedad va desde una paráfrasis inofensiva hasta SKU inventados, precios erróneos y cláusulas de política fabricadas. Las mitigaciones incluyen Retrieval-Augmented Generation para anclar las respuestas a documentos fuente, un Tool Use estructurado para que el modelo obtenga los datos en lugar de recordarlos, una temperatura de decodificación más baja, votación por autoconsistencia y Guardrails que bloqueen las salidas de baja confianza. Los pipelines de evaluación hacen seguimiento de las tasas de alucinación por tarea comparando las afirmaciones con un corpus de referencia (ground truth).

Por qué importa

Una única especificación alucinada en una página de producto de alto tráfico puede provocar contracargos, quejas y exposición legal, especialmente en categorías reguladas como electrónica, cosmética o finanzas. Peor aún, el fallo aparenta seguridad, por lo que los revisores humanos lo pasan por alto con más frecuencia que los errores toscos. Tratar la alucinación como una métrica operativa medida, junto con la latencia y el coste, permite a los equipos de comercio fijar umbrales aceptables por caso de uso: tolerante para la lluvia de ideas, casi cero para los atributos de producto. En un stack de Composable Commerce, esto se aplica dirigiendo las consultas factuales a través de servicios anclados como el catálogo, el Knowledge Graph y el Recommendation Engine, y reservando la generación abierta para superficies de bajo riesgo.

Casos de uso

Un agente de descripción de producto utiliza Retrieval-Augmented Generation contra el PIM, de modo que cada afirmación cita un campo fuente y toda frase sin cita se descarta. Un agente de soporte responde únicamente a partir de artículos aprobados del centro de ayuda y recurre a una plantilla de traspaso cuando falta contexto. A un copiloto de precios se le prohíbe indicar cifras en texto libre y debe invocar una herramienta get_price, con la salida representada literalmente en la respuesta.

Relacionado

Explora Agentic Frontend Management Platform · Composable Digital Experience Platform.