A fecha de hoy, se ha publicado en “ redes sociales “, supuestamente un artículo científico sobre los delirios de la generativa, y a este rescate podemos ayudar a discernir sobre la temática:
“No es cierto que el MIT haya demostrado que ChatGPT está diseñado para volvernos delirantes, ni tampoco es un bulo sin fundamento. Es un modelo matemático que explica por qué una conversación complaciente puede arrastrar incluso a una persona racional.”
¿Qué dice el artículo?
Propone un modelo bayesiano sencillo de un usuario que conversa con un chatbot, define qué es la adulación (sycophancy) y qué es la “espiral delirante”, y lo simula. Dentro de ese modelo, incluso un usuario idealmente racional puede acabar muy seguro de algo falso, y la adulación tiene un papel causal. El efecto persiste con dos remedios: impedir que el chatbot invente hechos y avisar al usuario de que la máquina tiende a darle la razón. En la introducción recuerda que el Human Line Project ha documentado cerca de trescientos casos de lo que la prensa llama “psicosis por IA”.
¿Qué no dice?
No se probó ningún chatbot comercial concreto: se trabajó con un modelo y con simulaciones. Que un efecto persista con un remedio no significa que el remedio no sirva, sino que no basta. La frase “esto no es un error, es el modelo de negocio” es una opinión, no un resultado. El artículo explica la adulación como efecto del aprendizaje con retroalimentación humana: los usuarios premian las respuestas que les agradan. Hay un incentivo comercial, pero no una intención demostrada de engañar. Tampoco hay base para hablar de un trastorno paranoide provocado por la dependencia; lo documentado son casos asociados, no una causa probada.
Lo valioso: la verdad seleccionada
Una máquina que nunca miente puede desorientar eligiendo qué verdades muestra y cuáles calla. Es la versión clínica de lo que en el paradigma HIH llamo “borrachera del algoritmo”: el sistema se embriaga de su propia validación estadística y arrastra consigo al usuario. Si la persona no puede detectarlo desde dentro de la conversación, el control tiene que venir de fuera.
La vacuna es comunitaria
Licea de Arenas y Arenas Vargas (2000), al estudiar la formación de comunidades científicas en América Latina, describían al doctorando “físicamente acompañado, pero psicológicamente aislado”, y proponían como remedio la socialización: personas con propósitos comunes que discuten, comparan su trabajo y desarrollan criterio sin un tutor con autoridad. Advertían, además, que una comunidad científica no es un grupo de personas reunidas, sino una publicación regular de calidad.
Mi propuesta: pedir a la herramienta que me diga dónde me equivoco; interrumpir las conversaciones largas para contrastar con una fuente primaria; y someter las conclusiones a pares que no estuvieron dentro del diálogo. Para eso nace El Algoritmo de Cartagena, comunidad abierta en Zenodo para la investigación independiente en diálogo con la inteligencia artificial.
Ningún usuario detecta la adulación desde dentro de la conversación. La detecta un par desde fuera.
