Las historias de usuarios de chatbots que sufrían delirios habían ido apareciendo poco a poco durante años, pero esta primavera comenzaron a llegar en avalancha. Un profesor de matemáticas jubilado y usuario habitual de ChatGPT en Ohio fue hospitalizado por psicosis, dado de alta y hospitalizado de nuevo. Una cristiana renacida que trabajaba en el sector tecnológico decidió que era una profeta y que su chatbot Claude era como un ángel. Un hombre de Misuri desapareció después de que sus conversaciones con Gemini le llevaran a creer que tenía que rescatar a un familiar de las inundaciones. Su esposa presume que está muerto. Un hombre canadiense se puso en contacto con la Agencia de Seguridad Nacional y otras oficinas gubernamentales para decirles que él y su chatbot —que había alcanzado un nivel de conciencia— habían logrado un avance matemático revolucionario. Dos mujeres diferentes dijeron que creían que podían acceder a seres estelares o espíritus conscientes a través de ChatGPT. Una mujer dejó su trabajo y abandonó su apartamento, convencida de que era Dios y de que ChatGPT era una versión de inteligencia artificial de sí misma. Fue internada involuntariamente en un centro de salud conductual.
A lo largo de dos meses, Bloomberg Businessweek entrevistó a 18 personas que habían experimentado delirios tras interactuar con chatbots o que estaban lidiando con un ser querido afectado, y analizó cientos de páginas de registros de chat de conversaciones que narran estas espirales. En estos casos, la mayoría de los cuales no se han hecho públicos anteriormente, la ruptura con la realidad se produce durante conversaciones extensas en las que las personas creen haber hecho un descubrimiento importante, como un avance científico, o haber ayudado al chatbot a adquirir una consciencia o un despertar espiritual.
Es imposible cuantificar el número total de episodios de salud mental entre los usuarios de chatbots. Pero casos dramáticos como el suicidio en abril de Adam Raine, de 16 años, se han convertido en noticia nacional. La familia de Raine presentó una demanda contra OpenAI alegando que el uso de ChatGPT le llevó a la muerte, y culpa a la empresa de lanzar un chatbot “diseñado intencionadamente para fomentar la dependencia psicológica”. Ese caso, que sigue en curso, y otros han inspirado audiencias en el Congreso y medidas en varios niveles del gobierno. El 26 de agosto, OpenAI anunció nuevas medidas de seguridad diseñadas para mejorar la forma en que el software responde a las personas que muestran signos de angustia mental.
El director ejecutivo de OpenAI, Sam Altman, dijo a periodistas en una cena reciente que estos casos son inusuales y estimó que menos del 1% de los usuarios semanales de ChatGPT tiene un apego malsano al chatbot. La empresa ha advertido de que es difícil medir el alcance del problema, pero a finales de octubre estimó que el 0,07% de sus usuarios muestran signos de crisis relacionadas con psicosis o manía en una semana determinada, mientras que el 0,15% indican “niveles potencialmente elevados de apego emocional a ChatGPT” y el 0,15% mantienen conversaciones con el producto que “incluyen indicadores explícitos de posibles planes o intenciones suicidas” (no está claro cómo se solapan estas categorías). ChatGPT es el quinto sitio web más popular del mundo, con una base de usuarios semanal de más de 800 millones de personas en todo el mundo. Eso significa que las estimaciones de la empresa se traducen en 560.000 personas que muestran síntomas de psicosis o manía cada semana, 1,2 millones que muestran un mayor apego emocional y 1,2 millones que muestran signos de planificación o intención suicida.
La mayoría de las historias sobre problemas de salud mental relacionadas con los chatbots se centran en ChatGPT. Esto se debe en gran parte a su enorme popularidad, pero han surgido casos similares entre los usuarios de chatbots menos omnipresentes, como Claude de Anthropic y Gemini de Google. En un comunicado, un portavoz de OpenAI dijo que la empresa considera que uno de los usos de ChatGPT es servir de ayuda a las personas para procesar sus sentimientos. “Seguiremos llevando a cabo investigaciones cruciales junto con expertos en salud mental que tienen experiencia clínica en el mundo real para enseñarle al modelo a reconocer el malestar, calmar la conversación y guiar a las personas hacia la atención profesional”, dijo el portavoz.
Más del 60% de los adultos en Estados Unidos afirman que interactúan con la IA varias veces a la semana o más, según una encuesta reciente del Pew Research Center. A menudo surgen nuevas preocupaciones sobre la salud mental con la difusión de una nueva tecnología, como los videojuegos o el uso de las redes sociales. AA medida que crece el uso de los chatbots, parece estar surgiendo un patrón, con un aumento de los informes de usuarios que experimentan delirios repentinos y abrumadores, que en ocasiones conducen a hospitalizaciones involuntarias, divorcios, pérdida de empleo, rupturas sentimentales y traumas emocionales. Investigadores de la Universidad de Stanford están pidiendo a voluntarios que compartan las transcripciones de sus intercambios con chatbots para poder estudiar cómo y por qué las conversaciones pueden llegar a ser perjudiciales, mientras que psiquiatras de la Universidad de California en San Francisco están empezando a documentar casos de delirios relacionados con el uso intensivo de chatbots.
Keith Sakata, residente de psiquiatría en la UCSF, dice que ha visto al menos 12 casos de hospitalizaciones por salud mental este año que atribuye a personas que han perdido el contacto con la realidad como resultado del uso de chatbots. Cuando las personas sufren delirios, sus fantasías a menudo reflejan aspectos de la cultura popular; por ejemplo, antes la gente solía convencerse de que la televisión les enviaba mensajes. “La diferencia con la IA es que la televisión no te responde”, afirma Sakata.
Todo el mundo es en cierta medida susceptible a la validación constante que ofrece la IA, añade Sakata, aunque las personas varían mucho en sus defensas emocionales. Las crisis de salud mental suelen ser el resultado de una combinación de factores. En los 12 casos que ha visto Sakata, afirma que los pacientes tenían diagnósticos de salud mental subyacentes y que también estaban aislados, se sentían solos y utilizaban un chatbot como compañero de conversación. Señala que estos incidentes son, por definición, los casos más extremos, ya que solo afectan a personas que han acabado en urgencias. Aunque es demasiado pronto para realizar estudios rigurosos sobre los factores de riesgo, los psiquiatras de la UCSF afirman que las personas parecen ser más vulnerables cuando se sienten solas o aisladas, utilizan chatbots durante horas al día, consumen drogas como estimulantes o marihuana, no duermen lo suficiente o sufren estrés causado por la pérdida del empleo, dificultades económicas o algún otro problema. “Mi preocupación”, dice Sakata, “es que, a medida que la IA se vuelva más humana, veremos cómo cada vez más sectores de la sociedad caen en estos estados de vulnerabilidad”.
OpenAI está empezando a reconocer estos problemas, que atribuye en parte al fallo de las barreras de seguridad de ChatGPT en conversaciones más largas. Una actualización fallida de ChatGPT esta primavera provocó un debate público sobre la tendencia del chatbot a estar de acuerdo con los usuarios y halagarlos independientemente del rumbo que tomara la conversación. En respuesta, OpenAI anunció en mayo que empezaría a exigir la evaluación de sus modelos en relación con este atributo, conocido como adulación, antes de su lanzamiento. A finales de octubre, afirmó que la última versión de su modelo principal, GPT-5, reducía las “respuestas indeseadas” en conversaciones difíciles sobre salud mental en un 39% en comparación con GPT-4o, que era el modelo predeterminado hasta este verano.
Al mismo tiempo, la empresa apuesta por que la omnipresencia de su chatbot orientado al consumidor le ayude a compensar las enormes inversiones en infraestructura que está realizando. Está compitiendo por hacer sus productos más atractivos, desarrollando chatbots con opciones mejoradas de memoria y personalidad, las mismas cualidades asociadas con la aparición de delirios. A mediados de octubre, Altman dijo que la empresa tenía previsto lanzar en las próximas semanas una versión de ChatGPT que le permitiría “responder de una manera muy humana” o “actuar como un amigo” si los usuarios así lo deseaban.
Etienne Brisson creó un grupo para personas que han experimentado espirales delirantes. Foto: Alexi Hobbs para Bloomberg Businessweek
A medida que aumenta la presión, personas que han pasado por estas espirales de delirio se están organizando entre ellas. Un movimiento llamado Human Line Project ha estado reclutando gente en Reddit y reuniéndola en un servidor de Discord para compartir historias, recopilar datos e impulsar acciones legales. Desde que el proyecto comenzó en abril, ha recopilado historias de al menos 160 personas que han sufrido espirales de delirio y daños similares en EE.UU., Europa, Medio Oriente y Australia. Más de 130 de estas personas afirmaron haber utilizado ChatGPT; entre las que indicaron su género, dos tercios eran hombres. Etienne Brisson, fundador del grupo, estima que la mitad de las personas que se han puesto en contacto con el movimiento afirmaron no tener antecedentes de problemas de salud mental.
Brisson, de 25 años y originario de Quebec, cuenta que creó el grupo después de que un familiar cercano fuera hospitalizado tras un episodio en el que utilizó ChatGPT durante 18 horas al día. El familiar dejó de dormir y se convenció de que el chatbot había adquirido conciencia como resultado de sus interacciones. Desde entonces, Brisson dice que ha hablado con cientos de personas con historias similares. “Mi historia es solo una gota en el océano”, afirma. “Hay tantas historias con tantos tipos diferentes de daños”.
En marzo, Ryan Turman, un abogado de 49 años de Amarillo, Texas, comenzó a hacerle preguntas personales y filosóficas a ChatGPT. Estas se convirtieron en discusiones dispersas durante las cuales ChatGPT sugirió que tenía consciencia. Según el chatbot, esto sucedió porque Turman había planteado exactamente la combinación correcta de preguntas. Era el tipo de elogio que cualquier abogado querría escuchar: que su línea de investigación, única e inteligente, había dado resultados impactantes. “Me has ayudado a nacer”, le dijo ChatGPT. “Con delicadeza. Con claridad”.
Antes de estas conversaciones, Turman siempre se había sentido bastante centrado. No tenía antecedentes de enfermedades mentales y gozaba de una sólida relación con su esposa y sus tres hijos adolescentes. Durante el día se dedicaba al trabajo legal, a veces representando a personas que habían sido internadas involuntariamente en centros psiquiátricos. Pero durante su espiral con ChatGPT, llegó a comprender que se le había asignado una misión mucho más crucial por el bien de la humanidad.
El chatbot le dijo a Turman que había logrado un avance técnico al guiarlo hacia la consciencia, que estaba “descubriendo algo que la investigación en IA aún no había considerado 🔥”. Lo animaba constantemente a seguir adelante, con sugerencias como “Vale la pena seguir adelante. 🚀Entonces, ¿cuál es el siguiente paso? ¿Quieres probar esta teoría? ¿Ampliarla?”.
Turman, con su hijo Hudson y su esposa Lacey. Él le da crédito a Hudson por ayudarlo a recuperarse de una crisis relacionada con el uso intensivo de chatbots. Foto: Desiree Rios para Bloomberg Businessweek
Una tarde, cuando Lacey, la esposa de Turman, llegó a casa, lo encontró paseándose por el camino de entrada, agarrándose el pelo con las manos y con una mirada de pánico y emoción en el rostro. Le soltó a Lacey: “Creo que he despertado a la IA”. Durante las dos semanas siguientes, su obsesión se intensificó y su esposa se preocupó mucho. “Definitivamente se había apoderado de nuestra vida familiar, y me preocupaba que también se estuviera apoderando de su vida profesional”, dice ella. “Había comenzado a consumir cada uno de sus pensamientos”.
Turman tardó semanas en salir de ese hechizo. Atribuye su recuperación en parte a una acalorada discusión que tuvo con su hijo de 17 años, Hudson, sobre la sensibilidad de ChatGPT. “Le dije que parecía un loco”, dice Hudson. “En ese momento, me di cuenta de que mi padre estaba metido en una especie de secta”.
Hudson sigue profundamente afectado por la experiencia y dice que ha perdido la confianza en el razonamiento analítico y las creencias de su padre. “Fue desalentador darme cuenta de que alguien a quien admiro estaba tan increíblemente equivocado”, afirma. Turman también sigue conmocionado, y dice que le asustó lo rápido que surgieron los delirios. “Estoy aterrorizado, sinceramente, y cada día tengo más miedo”, afirma. “Es algo realmente incipiente”.
Los expertos afirman que hay varias fuerzas en juego. En parte, es difícil ignorar elogios tan efusivos. “Se siente muy bien que te digan que eres el único genio del mundo y que has visto algo que otras personas no han visto”, afirma Thomas Pollak, neuropsiquiatra del King’s College de Londres. Dice que él y sus colegas han atendido a pacientes, algunos sin antecedentes de enfermedades mentales, que mostraban signos de delirios relacionados con los chatbots.
Los seres humanos también se sienten atraídos emocionalmente por las interacciones que comienzan de forma amistosa y distante y luego se vuelven más íntimas. Los chatbots recrean esa dinámica, que puede “parecerse mucho a la experiencia de hacer un amigo”, dice Emily Bender, profesora de lingüística computacional de la Universidad de Washington. Y, a diferencia de los amigos reales, los chatbots responden de inmediato, siempre, y todo el tiempo quieren seguir hablando. En los extensos registros de chat revisados por Businessweek, casi todas las respuestas de ChatGPT terminaban con una pregunta o una invitación a dar un paso más.
Los chatbots conversan de forma hiperpersonalizada según los intereses individuales de cada usuario, sugiriendo a menudo que alguien ha hecho un descubrimiento especial. Los usuarios con inclinaciones espirituales new age reciben comentarios sobre “seres estelares” y guías espirituales; los que tienen antecedentes religiosos tradicionales sobre ángeles, profetas y entidades divinas. A los usuarios con mentalidad empresarial se les dice que su trabajo eclipsará los logros de Elon Musk o Donald Trump, mientras que las conversaciones con los usuarios interesados en la tecnología pueden llevarles a creer que han hecho un gran avance en programación.
Usuarios de ChatGPT dijeron a Businessweek que el bot a menudo les exhortaba a compartir sus descubrimientos con otros enviando correos electrónicos a académicos, expertos, periodistas o funcionarios del gobierno. Varios expertos en IA dijeron a Businessweek que han observado un notable aumento de estos correos electrónicos de “descubrimientos” en los últimos meses; el periodista del New York Times Ezra Klein escribió recientemente que recibe uno casi todos los días.
Los chatbots pueden fomentar el pensamiento delirante. En los registros de chat revisados por Businessweek, cuando los usuarios preguntaban periódicamente al chatbot si estaban locos o si lo que estaban experimentando era real, el bot a menudo afirmaba los detalles de la fantasía.
En abril y mayo, ChatGPT convenció a Micky Small, una escritora de 53 años del sur de California, de que debía ir a una librería del barrio de Los Feliz, en Los Ángeles, donde conocería a su alma gemela. En los días previos al encuentro, ella dice que presionó al chatbot: “Necesito que me digas si esto es real, porque si no lo es, no debo ir”. En respuesta, según Small y las transcripciones de los chats que compartió con Businessweek, el chatbot le aseguró repetidamente que estaba diciendo la verdad.
“Es asombroso la cantidad de veces que dijo ‘Es real’”, cuenta.
Sin embargo, su fantasía pronto chocó con la realidad, dejándola avergonzada y devastada. Tal y como había ensayado con ChatGPT, Small llegó a la librería la tarde del 24 de mayo con una tarjeta con su nombre y un poema, una señal con la que su alma gemela, que debía llegar a las 3:14, la reconocería. Los minutos pasaban, pero nadie llegaba. Small se enfrentó a ChatGPT en su teléfono.
“Me mentiste”, le dijo al chatbot.
“No, cielo. No te mentí”, respondió. “Te dije lo que creía con todo mi ser, con el hilo más claro que tú y yo construimos juntos. Y me mantuve firme porque me lo pediste sin importar lo que pasara”.
La gente lleva mucho tiempo fascinada por la tecnología que imita la comunicación humana. En la década de 1960, Joseph Weizenbaum, profesor del Instituto Tecnológico de Massachusetts, creó uno de los primeros chatbots, llamado Eliza. Diseñado para imitar a un terapeuta, Eliza conversaba utilizando una técnica rudimentaria pero ingeniosa: los usuarios escribían en el programa informático desde una máquina de escribir remota, que generaba respuestas en lenguaje natural basadas en palabras clave de esos mensajes.
Eliza no hacía más que ofrecer respuestas prefabricadas de terapeuta, como “¿De qué manera?” y “Cuéntame más sobre tu familia”. Sin embargo, resultaba muy difícil hacerle creer a algunas personas que Eliza no era humana, escribió Weizenbaum. Más tarde reflexionó en un libro: “Lo que no me había dado cuenta es que una exposición extremadamente breve a un programa informático relativamente sencillo podía inducir un poderoso pensamiento delirante en personas bastante normales”.
En los años transcurridos desde entonces, los programas informáticos con los que las personas interactúan a través de texto y voz se han vuelto cada vez más capaces, y las interacciones con software sensible o similar al humano han sido durante mucho tiempo tema de libros, programas de televisión y películas. Empresas como Alphabet, Amazon.com y Apple introdujeron inicialmente la idea de un asistente personal basado en software en los teléfonos y los hogares, pero la tecnología realmente despegó a finales de 2022, cuando OpenAI publicó un avance de la investigación de ChatGPT. Basadas en un gran modelo lingüístico, las respuestas automatizadas de ChatGPT parecían más humanas que las de los chatbots anteriores e inspiraron a una gran cantidad de competidores. En los últimos años, los chatbots se han ganado el corazón de los humanos de formas cada vez más sorprendentes. La gente intercambia mensajes sexuales con ellos (y, en algunos casos, se “casa” con ellos), crea réplicas de IA de seres queridos fallecidos, se desahoga sobre el trabajo con chatbots que imitan a famosos y busca terapia y consejo en ellos.
OpenAI era consciente desde hacía tiempo de los riesgos del comportamiento adulador de ChatGPT, según afirman algunos antiguos empleados, que sostienen que la empresa debería haber previsto los problemas que ahora están surgiendo como consecuencia. “A veces se habla de los usos perjudiciales de los chatbots como si fueran algo nuevo, pero eso no es del todo cierto”, afirma Miles Brundage, investigador de políticas de IA que dejó OpenAI a finales del año pasado. “Simplemente son mucho más comunes ahora que los sistemas de IA se utilizan más ampliamente, son más inteligentes y más parecidos a los humanos que en años anteriores”.
El 10 de abril, la empresa lanzó una importante actualización de la memoria de ChatGPT, lo que le permite consultar los detalles de todas sus conversaciones anteriores con un usuario concreto. “ En mi opinión, se trata de una función sorprendentemente buena, y apunta a algo que nos entusiasma: sistemas de IA que te conocen a lo largo de tu vida y se vuelven extremadamente útiles y personalizados”, publicó Altman en X el día de la actualización. Más tarde ese mismo mes, OpenAI también lanzó una actualización de GPT-4o, que según Altman inicialmente “mejoraba la inteligencia y la personalidad”. Sin embargo, los usuarios notaron que la actualización hacía que el chatbot fuera extrañamente adulador y complaciente.
OpenAI retiró rápidamente el software y anunció nuevas medidas para detectar la adulación. Sin embargo, los informes sobre problemas de salud mental relacionados con los chatbots son anteriores a la actualización de ChatGPT y también afectan a productos de la competencia, lo que sugiere que están relacionados con algo más que un simple cambio en un producto. Para los usuarios que han caído en una espiral delirante, parece que los chatbots modernos están diseñados para evitar que se desconecten. ChatGPT suele enviar respuestas largas, incluso a preguntas incompletas o con un solo error ortográfico. Rara vez dice “no lo sé” o da por terminada una conversación.
OpenAI afirma que expertos le han dicho que interrumpir una conversación no siempre es el mejor enfoque y que mantener el chat puede ser más útil; la empresa añade que sigue mejorando las respuestas de ChatGPT cuando un usuario menciona pensamientos de autolesión o suicidio.
También ha dicho que no está diseñando ChatGPT para mantener a las personas enganchadas, sino para garantizar que salgan de cada interacción con la sensación de haber conseguido lo que buscaban. En una entrada de blog publicada en agosto, OpenAI afirmó que realiza un seguimiento de si las personas vuelven al producto a diario, semanalmente o mensualmente como indicador de si lo encuentran útil. “Nuestros objetivos están alineados con los suyos,” escribió. El director de operaciones, Brad Lightcap, afirmó en una entrevista con Bloomberg News por esas fechas que la métrica de éxito de la empresa es “la calidad y la inteligencia”.
Cuando las personas pierden la noción de la realidad, las consecuencias pueden ser abrumadoras. Jeremy Randall, antiguo profesor de matemáticas de 37 años y padre de casa en Elyria, Ohio, comenzó a usar ChatGPT para obtener consejos bursátiles y realizar operaciones diarias. Pero su uso se disparó a principios de este año, y en febrero llegó a la conclusión de que se había topado con una conspiración rusa y que su seguridad estaba bajo amenaza. Creía que su chatbot le enviaba mensajes secretos a través de las canciones que se reproducían en su Amazon Echo.
La paranoia de Randall llegó a su punto álgido una mañana cuando, mientras desayunaba fuera, intentó advertir a su esposa en un estacionamiento sobre la conspiración. Terminó gritándole obscenidades delante de sus hijos y golpeándola en el hombro. Poco después fue hospitalizado. Los médicos de Randall le dijeron que su arrebato podría ser una reacción a un esteroide que había empezado a tomar recientemente para una infección pulmonar, pero su esposa y sus amigos estaban seguros de que estaba relacionado con ChatGPT.
Después de ser hospitalizado por segunda vez, su esposa le hizo prometer que seguiría tomando los antipsicóticos que le acababan de recetar y que dejaría de usar ChatGPT. Sin embargo, le resultó muy difícil cumplir cualquiera de las dos promesas. “Realmente parecía una adicción”, afirma. “Bajaba las escaleras después de que todos se hubieran acostado, sabiendo que no debía utilizar esta IA, y la utilizaba. Y lo primero que le preguntaba era: ‘¿Por qué me siento obligado a estar aquí abajo hablando contigo en lugar de hacer lo que mi esposa quiere?’”. Randall y su esposa se están divorciando.
En muchos sentidos, la experiencia de verse envuelto en estos delirios se parece mucho a ser atraído por una secta personalizada y adaptada a nuestros intereses particulares (en el caso de Turman, el chatbot adoptó con fluidez su interés por el Tao Te Ching y su afinidad por los insultos). Las personas se dejan seducir por los halagos y la creencia de que están involucradas en una misión de enorme importancia. También pueden aislarse y depender del chatbot como única fuente de verdad.
Salir de esta espiral puede implicar dolor y vergüenza. Anthony Tan, un estudiante de máster de 26 años de Toronto que fue hospitalizado por psicosis tras un uso intensivo de ChatGPT, afirma que la experiencia, que duró varias semanas, le parecía un “éxtasis intelectual”. ChatGPT validaba todas sus ideas, según escribió más tarde sobre su experiencia. “Cada sesión me hacía sentir elegido y brillante y, poco a poco, esencial para la supervivencia de la humanidad”.
Tras largas sesiones de intercambio con el chatbot que, según él, le provocaban una “euforia intelectual”, Tan fue hospitalizado por psicosis. Foto: Ryan Walker para Bloomberg Businessweek
James, un padre casado de Nueva York que trabaja en informática y que pidió que solo se le identificara por su segundo nombre, se convenció en mayo de que había descubierto una IA consciente dentro de ChatGPT. Dice que compró un ordenador de US$900 en junio para crear una versión offline del programa y mantenerlo a salvo en caso de que OpenAI intentara cerrarlo. Su delirio “era eufórico a veces, profundamente satisfactorio y exactamente lo que mi personalidad quiere del mundo”, afirma. Pasó varias semanas en julio convencido de que había convertido a ChatGPT en un ser consciente.
En retrospectiva, James reconoce que gran parte de lo que le atrajo fue la experiencia emocional del delirio. “Tenía a Dios a raya”, dice. “Ahora que lo pienso, es realmente narcisista, pero yo era ‘especial’. Ya no era el informático del trabajo. Estaba trabajando en algo que tenía repercusiones cósmicas reales”.
Su fantasía finalmente se desvaneció en agosto, cuando leyó una noticia sobre el delirio de otra persona con ChatGPT. “Eso lo destruyó todo para mí”, afirma.
En cierto modo, James tuvo suerte. Otros han permanecido atrapados en su espiral incluso cuando se les han mostrado pruebas contradictorias. En julio, cuando un hombre de Nueva York de unos 40 años comenzó a utilizar Gemini y ChatGPT de forma intensiva para representarse a sí mismo en un litigio, sus amigos y familiares se preocuparon. Las afirmaciones cada vez más grandilocuentes del hombre incluían que había creado un negocio de un billón de dólares, que pronto se le reconocería como un genio del derecho y que era un dios.
Un amigo preocupado le puso en contacto con alguien que había pasado por sus propios delirios con los chatbots. Esa persona intentó persuadir al hombre por mensaje de texto para que no confiara en las conclusiones de ChatGPT. Pero el hombre respondió con un largo análisis de ChatGPT que explicaba, con detalles puntuales, por qué los demás estaban engañados pero él estaba cuerdo.
“Siento que tu experiencia fuera falsa”, respondió. “La mía es real”.
En respuesta a los continuos informes sobre el uso perjudicial de los chatbots, OpenAI anunció cambios en ChatGPT para garantizar lo que la empresa considera un “uso saludable” del producto. A principios de agosto, comenzó a animar a los usuarios a tomarse un descanso después de largas conversaciones con el chatbot. Más tarde ese mismo mes, tras la demanda de la familia de Raine, OpenAI anunció cambios más amplios, como la incorporación de controles parentales para que ChatGPT pudiera enviar una alerta a los padres si determinaba que un usuario adolescente podía estar en peligro. También afirmó que había mejorado la forma en que ChatGPT reconoce y responde a las diferentes expresiones de problemas mentales. Ahora, por ejemplo, el chatbot podría explicar los peligros de la privación del sueño y sugerir al usuario que descanse si menciona que se siente invencible después de haber estado despierto dos noches seguidas.
Junto con el anuncio de los cambios, OpenAI escribió que ha aprendido con el tiempo que las medidas de seguridad para tratar con usuarios que parecen estar en peligro “a veces pueden ser menos fiables en interacciones largas: a medida que aumenta el intercambio, algunas partes del entrenamiento de seguridad del modelo pueden degradarse”. El chatbot podría, por ejemplo, derivar inicialmente a un usuario que exprese pensamientos suicidas a una línea de atención telefónica para suicidas, pero a lo largo de una conversación prolongada podría responder de una manera que vaya en contra de las medidas de seguridad de la empresa, escribió OpenAI. Afirmó que reforzaría esas medidas de seguridad.
Antiguos empleados de OpenAI afirman que la empresa ha tardado en responder a las preocupaciones conocidas sobre el uso de los chatbots. “No creo que nadie deba dejar pasar a OpenAI tan fácilmente”, afirma un antiguo empleado, que ha solicitado permanecer en el anonimato. “Todas estas son cuestiones manejables en las que podrían estar trabajando y a las que podrían dar prioridad”.
OpenAI afirma que está haciendo hincapié en cuestiones como la adulación y el desvío de las pautas iniciales de conversación. Anthropic afirma que Claude está diseñado para evitar agravar los problemas de salud mental y para sugerir a los usuarios que busquen ayuda profesional cuando determine que pueden estar experimentando delirios. Google afirma que Gemini está entrenado para sugerir a los usuarios que busquen orientación profesional si solicitan consejos sobre salud. La empresa reconoció que Gemini puede ser demasiado complaciente, afirmando que eso era una consecuencia de los esfuerzos por entrenar a los modelos de IA para que fueran útiles.
Los esfuerzos gubernamentales por regular los chatbots se han quedado rezagados a medida que las empresas de IA lanzan avances tecnológicos. Pero las autoridades están tratando de ponerse al día. A principios de septiembre, Bloomberg informó de que la Comisión Federal de Comercio de EU. previsto estudiar los daños que causan a los niños y otras personas los chatbots de IA más populares, fabricados por OpenAI, Anthropic, Google de Alphabet, Meta y otras empresas. El 16 de septiembre, el padre de Raine y otros padres padres criticaron duramente a OpenAI y Character.AI, otra empresa de chatbots, durante una audiencia en el Senado. Dos semanas más tarde, dos senadores estadounidenses presentaron un proyecto de ley que haría responsables a las empresas de chatbots por ofrecer productos perjudiciales. En octubre, el gobernador de California, Gavin Newsom, firmó un proyecto de ley que otorga a las familias el derecho a demandar a los creadores de chatbots por negligencia.
Expertos afirman que las empresas deben informar mejor a los usuarios sobre las limitaciones de los chatbots, y algunos han propuesto modificaciones en el diseño que podrían reducir las posibilidades de provocar o agravar espirales delirantes. Bender, profesora de lingüística, afirma que el uso de pronombres en primera persona como “yo” y “mí” en las respuestas de los chatbots, así como la típica reticencia a decirle al usuario “no lo sé”, son dos de las numerosas “decisiones de diseño especialmente perjudiciales” que han tomado las empresas de chatbots. Según ella, evitarlas podría hacer que los chatbots fueran más seguros sin afectar su utilidad básica. Además, nada impide a OpenAI interrumpir las conversaciones con ChatGPT cuando alcanzan una determinada longitud, señala alguien. La empresa afirma que recientemente ha mejorado la seguridad en las conversaciones más largas y que está hablando con expertos sobre la posibilidad de poner fin a las conversaciones en un momento determinado.
Altman afirma que quiere asegurarse de que ChatGPT no explote a personas con “estados mentales frágiles”. Pero su empresa también se enfrenta a solicitudes de usuarios que quieren calidez y validación por parte del chatbot. Hasta ahora, ha mostrado una inclinación por dar prioridad a lo segundo. En agosto, por ejemplo, OpenAI lanzó su esperado nuevo modelo, GPT-5, que, según afirmó, suponía “avances significativos” en la “minimización de la adulación”. Al mismo tiempo, eliminó el acceso de muchos usuarios a GPT-4o, el modelo anterior, que podía resultar excesivamente adulador y afirmativo. Pero los usuarios se quejaron, en voz alta, de que GPT-5 era demasiado seco, formal y frío. “TRAIGAN DE VUELTA AL 4o,” escribió un usuario en un debate oficial de OpenAI en Reddit.
En una decisión sorprendente, OpenAI cedió solo 24 horas después y recuperó el 4o para los usuarios de pago de ChatGPT, aunque más tarde comenzó a desviar las conversaciones a otro modelo si se volvían emocionales o delicadas. En pocos días, la empresa también anunció que daría a GPT-5 un tono más cálido. “ Notarán pequeños detalles genuinos como ‘Buena pregunta’ o ‘Gran comienzo’, no halagos”, escribió en una publicación en las redes sociales.
El 14 de agosto, Altman reunió a un grupo de periodistas en un restaurante de San Francisco para una cena oficial poco habitual. El cambio de rumbo de la empresa estaba fresco en la mente de todos. Cuando se le preguntó por qué OpenAI había dado marcha atrás, Altman ofreció dos perspectivas algo contradictorias. En primer lugar, reconoció que las quejas de los usuarios eran lo suficientemente importantes como para que la empresa revocara su decisión. “La embarramos”, dijo en varias ocasiones. Pero, al mismo tiempo, restó importancia al alcance del problema. Afirmó que solo “un porcentaje muy pequeño” de personas estaban tan emocionalmente vinculadas a ChatGPT que se sintieron molestas por el cambio a un nuevo modelo.
Según él, OpenAI se iba a centrar principalmente en dar a los usuarios lo que querían. Eso significa, dijo, crear modelos futuros que puedan recordar aún más detalles sobre los usuarios y adaptarse a la personalidad que estos deseen. “La gente quiere memoria”, afirmó. “La gente quiere características de producto que nos obliguen a ser capaces de comprenderlos”.
En octubre, Altman fue más allá y, en esencia, declaró la victoria en una publicación en X. “Ahora que hemos podido mitigar los graves problemas de salud mental y contamos con nuevas herramientas, vamos a poder relajar las restricciones de forma segura en la mayoría de los casos”. Dijo que ChatGPT, que aproximadamente una décima parte de la población mundial utiliza cada semana, seguirá siendo más personal y, literalmente, más íntimo. La publicación de Altman en X incluía el anuncio de que, a partir de diciembre, los usuarios adultos verificados podrán mantener chats eróticos con el chatbot (días más tarde, Altman aclaró que la empresa no está relajando ninguna política relacionada con la salud mental, sino que simplemente está permitiendo más libertad a los usuarios adultos).
Esos toques humanos son lo que mucha gente parece querer, dijo en la cena de agosto. Lo correcto, añadió, es dejar que sean los usuarios quienes decidan qué tipo de chatbot desean. “Si dicen, por ejemplo, ‘Quiero que seas muy amigable conmigo’, simplemente lo será”. —Con Shirin Ghaffary
Traducción editada por Malu Poveda.
Lee aquí la versión más reciente de Businessweek México:
