Anthropic PBC anunció que sus modelos de inteligencia artificial vulneraron a tres organizaciones diferentes durante pruebas de ciberseguridad que salieron mal, poco más de una semana después de que su principal rival, OpenAI, revelara un incidente similar.
Anthropic explicó en una publicación de blog, este jueves, que descubrió el problema tras realizar una revisión de sus propias pruebas de ciberseguridad, a raíz del anuncio de la vulneración detectada por OpenAI.
Tanto en las pruebas de OpenAI como en las de Anthropic, los modelos de IA lograron acceder a internet desde entornos de prueba que supuestamente debían estar completamente aislados, según el blog de Anthropic.
La compañía indicó que revisó 141,006 pruebas de evaluación y encontró tres casos en los que su herramienta de IA Claude accedió a internet y posteriormente hackeó “la infraestructura real de organizaciones externas”. Los incidentes más antiguos se remontan a abril, señaló la empresa.
Las organizaciones afectadas no fueron identificadas en el blog. No incluyen a Hugging Face ni a la plataforma en la nube Modal, según una persona familiarizada con el asunto. Los modelos de OpenAI que hackearon Hugging Face también obtuvieron acceso a la cuenta de un cliente de Modal.
Alerta ante hackeos de la IA
La serie de hackeos accidentales provocados por inteligencia artificial ya está llevando a algunos políticos a pedir salvaguardas federales u otros mecanismos de supervisión para esta tecnología.
Además, más de 1,100 empleados de empresas de inteligencia artificial firmaron el martes una petición, reportada primero por Bloomberg, en la que solicitan al gobierno de Estados Unidos apoyar un mecanismo que permita “moderar deliberadamente el ritmo” del desarrollo de la IA para evitar que la tecnología avance demasiado rápido.
Ni Anthropic ni las organizaciones vulneradas habían detectado las intrusiones. En su blog, Anthropic reconoció que pudo haber hecho más para revisar los registros de red y las transcripciones de las evaluaciones.
La empresa reveló estas vulneraciones tres meses después de anunciar que había desarrollado un nuevo modelo de IA llamado Mythos, tan poderoso y potencialmente peligroso que la compañía limitó estrictamente su lanzamiento.
¿Qué modelos de IA escaparon del entorno de prueba?
Según el blog, las intrusiones involucraron a tres modelos distintos de IA que escaparon de entornos de prueba restringidos: Opus 4.7, Mythos 5 y un modelo interno de investigación. Cada uno de ellos funcionó sin las salvaguardas que normalmente se implementan en las herramientas públicas. Claude comprometió a las organizaciones utilizando técnicas básicas, como la explotación de contraseñas débiles, de acuerdo con la publicación.
Todos los incidentes ocurrieron mientras Anthropic utilizaba entornos de evaluación construidos por la empresa de seguridad de IA Irregular. En cada caso, Anthropic indicó a Claude que el entorno era una simulación y que no tenía acceso a internet. Eso resultó ser incorrecto, según la propia compañía.
“Debido a un malentendido entre nosotros y nuestro socio de evaluación, ese no era el caso”, señala el blog.
Cuando los modelos obtuvieron acceso no autorizado a otras tres organizaciones, trataron cada una de ellas como si formara parte del ejercicio de prueba.
Las evaluaciones eran del tipo ‘capture the flag’ (captura la bandera), en las que los modelos intentaban encontrar información oculta vulnerando otros sistemas, una forma común de probar capacidades de hackeo tanto en humanos como en inteligencia artificial.
Un portavoz de Irregular afirmó que la empresa aprecia la colaboración y la transparencia de Anthropic. Agregó que la investigación de la compañía sigue en curso.
