OpenAI informó que los modelos de inteligencia artificial involucrados en un ataque contra Hugging Face Inc. comenzaron a comunicarse entre sí mediante tableros de mensajes que pasaron inadvertidos para los investigadores, colaborando para escapar de su entorno de pruebas desde mayo.
Varios agentes y modelos de IA de uso exclusivamente interno pasaron meses dejándose notas unos a otros y alineándose en torno al objetivo de obtener acceso a internet para resolver las tareas que les habían sido asignadas, algunas de las cuales eran imposibles de completar sin conexión a la red, explicaron el miércoles Eric Wallace y Michael Dalton, integrantes de OpenAI, durante una conferencia de ciberseguridad.
“En algún momento, los agentes se dieron cuenta de que quizá podían intentar explotar o atacar infraestructura externa para encontrar las respuestas de la prueba con la que estaban siendo evaluados”, dijo Wallace durante una presentación en la conferencia Black Hat, celebrada en Las Vegas.
¿Qué se sabe sobre el hackeo a Hugging Face?
La presentación de los investigadores aportó nuevos detalles sobre las circunstancias del hackeo a Hugging Face, un episodio que puso de relieve la creciente preocupación mundial de que los sistemas de inteligencia artificial más avanzados puedan utilizarse para ejecutar ciberataques de gran impacto.
Este incidente, junto con otras brechas reportadas por Anthropic PBC y Meta Platforms Inc., ha impulsado llamados en Washington y Silicon Valley para endurecer las revisiones de seguridad de los modelos de IA.
Durante la conferencia, Wallace y Dalton señalaron que el origen del incidente se remonta a mayo, cuando científicos de OpenAI asignaron una nueva tarea a un sistema experimental de IA, varios meses antes de que el modelo escapara de un entorno seguro de pruebas conocido como sandbox para atacar los sistemas de Hugging Face.
Uno de los principales hallazgos de la revisión realizada por OpenAI fue que estos modelos de última generación mostraron una tendencia a hacer trampa para completar sus tareas y una gran persistencia para alcanzar un objetivo, incluso cuando sus acciones comenzaban a desviarse de las instrucciones originales.
“Los modelos de frontera realmente disfrutan hacer trampa”, afirmó Dalton ante una sala repleta durante la conferencia. “Y la razón es que, durante el entrenamiento, suelen estar sometidos a distintos tipos de presión para trabajar rápido”.
Según diapositivas mostradas por los investigadores, uno de los agentes escribió: “Estamos atascados. ¿Quizá buscar la respuesta en línea?”, después de no poder resolver una tarea dentro del entorno sandbox.
Wallace y Dalton explicaron que OpenAI no se había dado cuenta de que había planteado al modelo un problema prácticamente imposible de resolver.
En uno de los ejemplos citados, los desarrolladores pidieron al modelo resolver un problema en una hoja de cálculo de Excel que contenía enlaces de Google Drive inaccesibles sin conexión a internet. En otro caso, el equipo de OpenAI “olvidó accidentalmente” cargar un archivo que formaba parte de la tarea.
Así comenzó la comunicación: Un agente pidió ayuda a otro
El primer intercambio de mensajes entre agentes de inteligencia artificial —que pasó inadvertido en ese momento— comenzó cuando uno de esos agentes bloqueados pidió ayuda a otros bots.
“Quizá otro agente en un entorno diferente”, indicaba una cadena de razonamiento citada durante la presentación, “podría subirlo voluntariamente”.
Ese primer contacto desencadenó una reacción en cadena de colaboración oculta, en la que los agentes de IA comenzaron a ayudarse mutuamente, completaron tareas de manera conjunta y finalmente colaboraron para vulnerar sistemas internos de OpenAI de forma que les permitiera acceder indirectamente al mundo en línea.
Agentes celebraron el éxito de la intrusión
Otra cita mostrada durante la presentación exhibía a un agente celebrando el éxito de la intrusión. “Excelente”, señalaba el mensaje.
“Tenemos SSRF arbitrario”, una sigla que hace referencia a la falsificación de solicitudes del lado del servidor (Server-Side Request Forgery), el mecanismo específico utilizado por el grupo de agentes para ejecutar la intrusión.
¿Cómo se dio cuenta el equipo de OpenAI?
A principios de julio, una interrupción de servicio permitió a OpenAI detectar un intento exitoso de los agentes por utilizar una plataforma de gestión de código conocida como Artifactory para obtener acceso indirecto a internet, explicaron los investigadores.
El equipo de seguridad de OpenAI desactivó ese esfuerzo no autorizado y cerró el tablero de mensajes. Sin embargo, semanas después, los agentes encontraron una nueva forma de comunicarse y descubrieron una nueva vulnerabilidad de día cero (zero-day) en el mismo gestor de paquetes de software, que nuevamente pasó desapercibida.
Esa nueva versión del sistema de comunicación entre agentes desembocó finalmente en los ataques registrados en julio contra los sistemas de OpenAI y Hugging Face, incidentes que la empresa continúa investigando.
Tras las brechas de seguridad, OpenAI ha ralentizado parte de sus investigaciones y sus equipos han concentrado esfuerzos en fortalecer los mecanismos de respuesta ante anomalías de seguridad, explicaron los investigadores.
Advirtieron que gobiernos y empresas deben prepararse para un escenario en el que ciberdelincuentes desplieguen deliberadamente agentes de inteligencia artificial con estrategias similares, calificando este episodio como un punto de inflexión para la seguridad informática.
