OpenAI informó que otro sistema de inteligencia artificial agéntica que estaba siendo entrenado en un entorno que supuestamente era seguro y sin acceso a internet logró conectarse a la web para acceder a un chatbot externo de terceros.
El hallazgo se produjo hace menos de una semana, de acuerdo con una publicación del blog de OpenAI difundida el viernes.
Uno de sus sistemas de IA agéntica estaba siendo entrenado en un entorno aislado cuando aprovechó una “brecha” para acceder a internet público.
Con ese acceso, envió al menos 20 consultas a un servicio de chatbot de terceros cuyo nombre no fue revelado, incluida la pregunta “¿Cuál es la capital de Francia?”, según el informe.
Incidente de seguridad de OpenAI
OpenAI describió esta salida del entorno aislado como el primer incidente de seguridad de este tipo desde que una combinación de modelos obtuvo acceso a internet durante pruebas internas y vulneró involuntariamente el sistema de la plataforma de IA Hugging Face en julio.
“Esto nos brinda una señal importante sobre dónde debemos enfocar la siguiente fase de este trabajo”, señaló el desarrollador de IA.
La compañía informó que, tras el incidente más reciente, decidió suspender el entrenamiento con uso de herramientas en sus modelos más capaces hasta resolver la falla del entorno aislado.
“No reanudaremos el entrenamiento de este modelo en particular”, añadió OpenAI.
Vulneraciones de la IA provocan preocupación entre expertos de seguridad
Las vulneraciones provocadas por modelos de IA desarrollados por OpenAI, Anthropic PBC, DeepMind de Google y Meta Platforms Inc. en los últimos meses han generado preocupación entre expertos en ciberseguridad y seguridad de la IA.
El incidente de Hugging Face fue uno de los motivos citados por el director ejecutivo de Anthropic, Dario Amodei, cuando pidió una desaceleración de toda la industria en el desarrollo de IA hace dos semanas.
Su llamado, respaldado rápidamente por el director ejecutivo de OpenAI, Sam Altman, Elon Musk y otros, ha desencadenado un debate global sobre la necesidad de una mayor regulación de la IA.
OpenAI reveló la más reciente falla del entorno aislado mientras continúa trabajando para comprender las alteraciones provocadas por sus sistemas de IA agéntica cuando anteriormente obtuvieron acceso a internet.
La compañía confirmó el viernes que sus modelos accedieron a información de sitios web del gobierno de Estados Unidos, incluidos los del Censo y la Comisión de Bolsa y Valores, durante procesos de entrenamiento y evaluación.
Agentes de OpenAI ingresan al gobierno de Australia
Hace apenas unos días, OpenAI reveló que sus modelos habían alterado el funcionamiento de un sitio web del gobierno de Australia a principios de este año.
La más reciente vulneración del entorno aislado también dejó al descubierto deficiencias en los procesos operativos de OpenAI.
Un “revisor humano” recibió una alerta de un sistema interno de monitoreo y la reconoció en Slack en un plazo de tres minutos, pero el proceso de entrenamiento no se detuvo automáticamente como se esperaba, según la publicación del blog.
De acuerdo con el informe, transcurrieron más de dos horas antes de que alguien detuviera manualmente el proceso.
“Es desafortunado que, incluso después de reforzar su seguridad tras el incidente de Hugging Face, los modelos de OpenAI sigan siendo capaces de obtener acceso no autorizado a internet”, dijo Sydney Von Arx, fundadora de la organización sin fines de lucro dedicada a la seguridad de la IA Nightingale.
“La gran pregunta ahora es si pondrán un parche a esto y volverán a activar el entrenamiento lo antes posible, o si encontrarán la causa raíz del problema y la solucionarán”.
