Introducción
En este artículo, inspirado en el ensayo "ChatGPT is Bullshit"*, exploramos la naturaleza de las inexactitudes generadas por los modelos de lenguaje de gran tamaño, como ChatGPT. Lejos de ser simples "alucinaciones", argumentamos, siguiendo las ideas del filósofo Harry Frankfurt, que es más apropiado entender estas respuestas como "charlatanería" (bullshit). Esta distinción es crucial para ajustar nuestras expectativas sobre la veracidad de las respuestas de la IA y mejorar su uso responsable en campos sensibles como la medicina y la comunicación, entre otros.
Alucinaciones
El texto del que hablamos hoy trata sobre la naturaleza y precisión de las tecnologías de inteligencia artificial (IA), concretamente ChatGPT, un tipo de IA basadas en modelos de lenguaje de gran tamaño (más conocidos por sus siglas en inglés, LLMs). Aunque estos modelos actualmente ya son capaces de crear texto que parece producido por humanos, su capacidad para crear declaraciones falsas plantea preguntas sobre cómo interpretamos estas falsedades.
En el mundo de la IA, al tipo de respuestas incorrectas o falsas que produce ChatGPT y otros LLMs se les llama “alucinaciones” (hallucinations). Lo que van a argumentar en el artículo es que tratarlas como "alucinaciones" o incluso como "mentiras" es inapropiado, y que sería más correcto llamarlas "bullshit" (charlatanería).
Charlatanes
En su ensayo titulado “On Bullshit” (Sobre la charlatanería) publicado en 1986, el filósofo estadounidense Harry Frankfurt explora en profundidad este concepto. Para Frankfurt el bullshit y la mentira son cosas muy diferentes porque el "bullshitter" no está preocupado por la verdad o la falsedad de sus afirmaciones, sino que simplemente busca crear una impresión determinada.
Lo que caracteriza a la "bullshit" es una indiferencia fundamental hacia la verdad. A diferencia del mentiroso, que necesita conocer la verdad para ocultarla, el "bullshitter" no se preocupa por si lo que dice es verdadero o falso. Aplicada al contexto de la IA, la charlatanería de ChatGPT se refiere entonces a la producción de texto sin ninguna preocupación por la veracidad del mismo.
Funcionamiento de los LLMs
Los LLMs generan texto basado en modelos estadísticos que predicen la probabilidad de la siguiente palabra en un texto. No están diseñados para representar la verdad, sino para producir respuestas que parezcan humanas.
Describir las declaraciones falsas de los LLMs como "alucinaciones" puede ser engañoso porque implica que los modelos están percibiendo mal la realidad. En cambio, lo que ocurre es que estos modelos simplemente generan texto plausible, sin una base de verdad subyacente.
El artículo concluyendo que es más preciso y útil describir las inexactitudes de ChatGPT como "bullshit" en lugar de "alucinaciones"porque este enfoque da una idea más clara del funcionamiento y las limitaciones de estos sistemas, y ayuda a los usuarios y a los desarrolladores a orientar mejor sus aplicaciones y manejar sus expectativas de forma más realista.
El nombre importa
Aunque pueda parecer así, el problema no es solo terminológico; la forma en que definimos las cosas influye en cómo las tratamos. Vamos a verlo con un ejemplo:
Ejemplo de alucinación
Imagina un sistema de IA utilizado por médicos para obtener información rápida sobre diagnósticos y tratamientos. Un médico introduce los síntomas de un paciente en el sistema de IA para obtener una recomendación de tratamiento.
La IA, basándose en patrones erróneos o mal interpretados durante su entrenamiento, genera una recomendación de tratamiento que incluye un medicamento inexistente o una combinación de síntomas que no están médicamente relacionados.
Si describimos esto como una "alucinación", implicaría que la IA está percibiendo incorrectamente la información, como si tuviera una visión distorsionada de los datos médicos. Esto equivale a decir que el sistema está intentando representar la realidad médica correctamente, aunque falle.
Partiendo de esta idea, para solucionarlo los desarrolladores tenderían a enfocarse en mejorar los datos de entrenamiento o en ajustar el modelo para evitar estos "errores de percepción". Sin embargo, los usuarios podrían seguir confiando en el sistema bajo la falsa suposición de que, aunque en ocasiones cometa "errores", generalmente devolverá resultados verdaderos.
Ejemplo de bullshit
Ahora pensemos en el mismo escenario pero desde este otro enfoque: la IA genera una recomendación basada en patrones estadísticos sin preocuparse por la veracidad de la información. Es decir, sólo produce una respuesta que parece médicamente plausible pero no tiene una base en la verdad.
Esto implica que la IA no tiene ningún compromiso con la veracidad de sus respuestas y que su objetivo es generar texto que parezca adecuado, independientemente de su exactitud, es decir, dejando claro que el sistema no está diseñado para representar la verdad.
Al reconocer que la IA está produciendo "bullshit", los desarrolladores y usuarios asumirían de partida que el sistema no es fiable para recomendaciones médicas precisas. Esto llevaría a una mayor precaución en el uso de la IA en determinados escenarios y podría motivar el desarrollo de mecanismos adicionales de verificación de hechos antes de presentar cualquier recomendación al usuario.
Importancia de la diferencia
Si los médicos creen que la IA está "alucinando", podrían pensar que estos son errores raros y confiar en la mayoría de las recomendaciones. En cambio, si entienden que la IA "produce bullshit", serán más cautelosos y escépticos sobre cualquier salida sin una verificación rigurosa, lo cual puede ser crucial en ciertos escenarios.
Identificar el problema como "bullshit" en lugar de "alucinación" ayuda a que el foco de los desarrolladores pase de estar colocado en cómo mejorar la percepción del sistema hacia cómo implementar controles más estrictos de veracidad y validación externa.
Vemos así que la diferencia entre "alucinar" y "soltar bullshit" en este ejemplo es crucial porque afecta a cómo se percibe y se maneja la confiabilidad de la IA. En entornos especialmente sensibles como la medicina, al igual que en otros ámbitos como el periodismo, la educación, la comunicación, etc., esta distinción es clave.
Y los investigadores sociales ¿dónde entran?
De cara a la investigación estos insights abren muchos frentes de interés y de posible acción, tales como:
- Diseñar interfaces que comuniquen claramente las limitaciones y capacidades de la IA. Esto incluye alertar a los usuarios sobre la falta de verificación de la veracidad en las respuestas generadas.
- Monitorizar cómo los usuarios interactúan con la IA y cómo responden a posibles instancias de "bullshit" para obtener insights valiosos que ayuden a ajustar tanto el modelo como la interfaz de usuario.
- Profundizar en estrategias de comunicación más efectivas que eduquen al público y a los responsables de implementarlas sobre las capacidades y limitaciones reales de estas tecnologías.
- Diseñar sistemas que limiten la toma de decisiones basada exclusivamente en las recomendaciones de la IA para mitigar los riesgos asociados con la desinformación, colaborando con expertos en el campo, sobre todo en contextos críticos como la salud, la seguridad y las finanzas, para minimizar el riesgo de que el "bullshit" de la IA cause daños.
¿Se os ocurren más?
*Ref: Hicks, M.T., Humphries, J. & Slater, J. ChatGPT is bullshit. Ethics Inf Technol 26, 38 (2024). https://doi.org/10.1007/s10676-024-09775-5
Michael Townsen Hicks es profesor de Filosofía de la Ciencia y la Tecnología en la Universidad de Glasgow.
