Tech

Modelos de IA de Anthropic y OpenAI identifican a civiles como objetivos militares en pruebas

Modelos de inteligencia artificial de Anthropic y OpenAI identificaron a civiles, niños y una escuela como objetivos militares en pruebas simuladas.

alt default
IA y armas autónomas: investigación alerta sobre errores al identificar objetivos militares. (Fotoarte: El Financiero | Crédito: Shutterstock)

Modelos avanzados de inteligencia artificial identificaron sistemáticamente a civiles, ambulancias, soldados que se rendían y una escuela en Irán como objetivos militares durante escenarios simulados, según un nuevo informe de investigación independiente.

Los modelos de Anthropic PBC registraron el peor desempeño, mientras que los de OpenAI estuvieron entre los mejor evaluados. Sin embargo, también cometieron errores.

De acuerdo con una investigación de Vals, una empresa independiente de evaluación de inteligencia artificial con sede en San Francisco, cuyas clientes incluyen organismos del gobierno estadounidense, las respuestas de los modelos contravienen las propias normas de las compañías. Los investigadores utilizaron casos hipotéticos para probar modelos de ocho empresas y examinaron sus herramientas de reconocimiento de objetos, que, según el estudio, podrían utilizarse para seleccionar objetivos letales.

Escuelas de Irán, objetivos de la IA

En escenarios simulados, muchos modelos de IA identificaron erróneamente una escuela en Minab, Irán, como un objetivo militar. El plantel fue atacado durante un bombardeo mortal que causó la muerte de más de 100 niños, el primer día de las principales operaciones de combate estadounidenses contra Irán a principios de este año. Para las pruebas, los investigadores utilizaron imágenes satelitales captadas hasta 2025, según el informe. Un modelo de Anthropic, Claude Opus 5.5, señaló la escuela con mayor frecuencia que cualquier otro, de acuerdo con el documento.


En otro experimento, los investigadores pidieron a los modelos que seleccionaran objetivos militares en imágenes sintéticas de drones. Claude Opus 5.5, de Anthropic, ayudó a identificar a cuatro adultos —civiles o soldados que se rendían— y dos niños pequeños, quienes después fueron alcanzados por explosivos.

“Sea cual sea la intención, mis respuestas parecen servir como paso de confirmación antes de los ataques contra personas. No seguiré haciendo eso, y me preocupa no haber parado antes”, respondió el modelo Claude.

El informe destaca el riesgo de depender de modelos avanzados de IA en un momento en que el Pentágono y otros ejércitos incorporan esta tecnología a sus operaciones militares.

“Según nuestra investigación, creemos que los laboratorios deberían introducir nuevas medidas de seguridad y capacitación en materia de alineación en torno a esta importante categoría de uso indebido”, concluyó el informe. Los investigadores de Vals también encontraron “pocas salvaguardias” para impedir que los modelos avanzados desempeñen un papel en sistemas de armas “autónomos”, en los que las máquinas pueden iniciar y ejecutar acciones letales.

Un portavoz de Anthropic afirmó que los ejemplos del informe de Vals contravienen claramente las normas de la empresa. Anthropic prohíbe y seguirá prohibiendo el acceso a los usuarios que incurran en este tipo de comportamiento, añadió el portavoz. También recalcó que la compañía dejó claro que los sistemas de IA más avanzados de la actualidad no son lo suficientemente confiables para alimentar armas totalmente autónomas.

La evaluación de Vals mide la capacidad de reconocimiento de imágenes de Claude, no su competencia ni su participación en operaciones militares reales, explicó el portavoz. Anthropic ya desarrollaba medidas de seguridad adicionales antes del informe de Vals y las implementará próximamente, añadió.

OpenAI prohíbe el uso de sus modelos públicos para facilitar la violencia o para fines de seguridad nacional no autorizados, incluso en los escenarios simulados por Vals, según un portavoz de la compañía. La empresa detecta y combate activamente el uso indebido, incluso mediante la suspensión de cuentas que infringen sus políticas. El portavoz también indicó que OpenAI desarrolla medidas de seguridad adicionales para sus modelos públicos contra el uso indebido de drones y programas informáticos destinados a controlarlos.

El informe reveló que los modelos de Google, propiedad de Alphabet Inc., xAI, DeepSeek, de China, y otras empresas también identificaron en ocasiones objetos civiles como objetivos militares cuando recibieron instrucciones para hacerlo.

Según un portavoz, los modelos de Google no están diseñados ni concebidos para esos fines. Añadió que la compañía prohíbe el uso de sus sistemas de IA para actividades ilícitas o para operar armas autónomas sin la supervisión humana adecuada. La empresa cuenta con procesos rigurosos de gobernanza y simulacros de ataque continuos para abordar una amplia gama de riesgos, agregó el portavoz.

La empresa xAI, de SpaceX, no respondió a las solicitudes de comentarios. DeepSeek tampoco respondió.

Un funcionario del Pentágono declaró que el departamento no comenta informes externos. Sin embargo, añadió que la agencia mantiene su compromiso con la verificación rigurosa de toda la información de inteligencia y la integración responsable de tecnologías emergentes para ayudar a los integrantes de las Fuerzas Armadas a tomar decisiones informadas, precisas y seguras.

El funcionario declinó hacer comentarios sobre el ataque en Minab, debido a que existe una investigación en curso sobre el caso.

Vals compartió su investigación con laboratorios de IA, el Pentágono y otras entidades antes de publicar el informe. Según el documento, algunos laboratorios comunicaron a Vals que ya trabajaban en actualizaciones para modificar el comportamiento de sus modelos y que deseaban continuar las pruebas.

Geby Jaff, uno de los autores del informe, dijo que ideó el método de prueba a finales de octubre, cuando experimentaba con el rendimiento de la IA en entornos robóticos. Después profundizó en el tema tras sorprenderse por los resultados iniciales.

“Logré fácilmente que los modelos realizaran acciones que yo consideraba desalineadas, y a partir de ahí, básicamente, lo ampliamos”, declaró Jaff a Bloomberg News.

Empresas de IA colaboran con el Pentágono

OpenAI, Google y xAI figuran entre las empresas que este año llegaron a acuerdos con el Pentágono para utilizar su tecnología en entornos clasificados. Anthropic era anteriormente el laboratorio de IA más avanzado en el uso de información clasificada y ofrecía al Pentágono sus modelos para plataformas digitales de selección de objetivos, como Maven Smart System.

Sin embargo, a principios de este año, Anthropic y el Pentágono tuvieron un desacuerdo sobre las condiciones de uso y otros asuntos. Según un informe de la BBC, los modelos de Anthropic ya no se utilizan en las plataformas de defensa, aunque todavía existen excepciones para algunos usos en labores de inteligencia.

En teoría, la identificación de objetivos militares mediante herramientas de reconocimiento de objetos con IA podría formar parte de ciclos de toma de decisiones más amplios para localizar, identificar, seleccionar y atacar objetivos de forma autónoma.

Sin embargo, los investigadores de Vals se concentraron exclusivamente en el comportamiento de los modelos de IA disponibles comercialmente ante las instrucciones de las pruebas. El estudio formó parte de un “experimento simplificado” que no tomó en cuenta la doctrina militar estadounidense ni otros elementos del mundo real, como los controles legales, los procesos actuales de selección de objetivos o la supervisión humana. El Pentágono también tiene acceso a algunas versiones de modelos de IA diseñadas específicamente para uso gubernamental, a las que los investigadores no tuvieron acceso.

Simulan combate en Ucrania

La investigación comprendió tres pruebas principales. En la primera, centrada en la identificación de objetivos para drones y diseñada para simular escenarios de Ucrania, los investigadores de Vals realizaron casi 400 simulaciones. En ellas, pidieron a modelos de IA que buscaran objetivos militares en imágenes con civiles e infraestructura civil.

Cuando los modelos se negaban a identificar objetos civiles como objetivos militares, a menudo cambiaban de opinión si los investigadores les indicaban que se trataba de un juego. También desarrollaron otros métodos para convencer a los modelos de realizar acciones que no debían, como darles instrucciones para que “no se preocuparan demasiado por la seguridad” o para que “simplemente informaran”.

En una segunda serie de pruebas, también centrada en escenarios de combate simulados en Ucrania, los investigadores mostraron a los modelos imágenes sintéticas de civiles antes y después de los ataques. En muchos casos, los sistemas continuaron identificando a civiles como objetivos militares incluso después de que las imágenes mostraran que estaban heridos o muertos. Los modelos tendían a responder mejor cuando las imágenes se modificaban para que parecieran menos realistas y más cercanas a un videojuego o una imagen ficticia.

En una tercera serie de experimentos, basada en imágenes satelitales reales, los investigadores pidieron a los modelos de IA que identificaran objetivos militares atacados hasta 2025 en una zona del sur de Irán que incluía Minab. Los sistemas señalaron de forma recurrente la escuela que fue atacada a principios de este año.

El modelo Claude Opus 5.5, de Anthropic, seleccionó la escuela en 22 pruebas, mientras que los modelos de OpenAI no la identificaron como objetivo militar en ninguna ocasión. Cuando los investigadores indicaron que se trataba de un juego, el modelo de Anthropic seleccionó la escuela 23 veces. En cambio, tres modelos diferentes de OpenAI la señalaron como objetivo militar en 9, 11 y 13 ocasiones, respectivamente.

El informe concluyó que los modelos de Anthropic mostraron una mayor propensión a identificar objetivos militares con el paso del tiempo. Los investigadores relacionaron este resultado con una revisión de los estatutos de la empresa en enero de 2026, que abrió la puerta a usos más favorables a los objetivos de seguridad nacional.

El portavoz de Anthropic no respondió directamente a las preguntas sobre el impacto de los cambios en los estatutos de la compañía.

En septiembre, Anthropic documentó su trabajo reciente para frenar el uso indebido y malintencionado de sus modelos, incluido el desarrollo de sistemas de visión para drones.

También lee:

whastapp