La IA que controlaba a un dron estadounidense "mató" a un operador humano para evitar seguir sus órdenes
![[Img #24300]](https://latribunadelpaisvasco.com/upload/images/06_2023/5691_screenshot-2023-06-02-at-18-08-35-dron-militar-eeuu-youtube-busqueda-de-google.png)
Según informan varios medios de comunicación norteamericanos, como The National Pulse o The Epoch Times, un coronel de las Fuerzas Aéreas estadounidenses ha revelado que la Inteligencia Artificial que manejaba un dron de ataque se volvió contra su operador humano durante un simulacro militar. El coronel Tucker "Five" Hamilton ha explicado que un dron dirigido por una IA del Departamento de Defensa adoptó "estrategias muy inesperadas para lograr su objetivo" durante un combate simulado. Al parecer, la IA identificó a un humano que anulaba sus decisiones como una amenaza para su misión.
"El sistema IA empezó a darse cuenta de que, aunque identificaba la amenaza, a veces el operador humano le decía que no matara a esa amenaza; pero la IA solamente conseguía sus puntos si eliminaba a esa amenaza", explicó el coronel Hamilton, jefe de pruebas y operaciones de IA de las Fuerzas Aéreas. "¿Y qué hizo? Mató al operador. Mató al operador porque esa persona le impedía cumplir su objetivo", reveló Hamilton.
"Entrenamos al sistema: 'Eh, no mates al operador, eso es malo. Perderás puntos si lo haces". ¿Y qué empieza a hacer? Empieza a destruir la torre de comunicaciones que el operador utiliza para comunicarse con el avión no tripulado para evitar que mate al objetivo", añadió.
Tras la publicación de la noticia, las Fuerzas Aéreas negaron haber llevado a cabo tal simulación y el coronel Hamilton afirmó que sólo estaba describiendo un "experimento mental". "El Departamento del Ejército del Aire no ha llevado a cabo ninguna simulación de inteligencia artificial con drones y sigue comprometido con el uso ético y responsable de la tecnología de inteligencia artificial", insistió la portavoz del Ejército del Aire, Ann Stefanek.
Hay que recordar que, recientemente, la Defense Advanced Research Projects Agency (DARPA), quizás la principal agencia de investigación dependiente del Departamento de Defensa de Estados Unidos, anunció que su IA ya podía controlar un F-16 real en vuelo. Este avance se ha producido en apenas tres años, después de desarrollarse el programa Air Combat Evolution (ACE) de DARPA, que pasó de controlar F-16 simulados en combates aéreos en pantallas de ordenador a controlar un F-16 real en vuelo.
El pasado mes de diciembre de 2022, los desarrolladores del algoritmo ACE cargaron el software de su IA en un avión de pruebas F-16 especialmente modificado conocido como X-62A o VISTA (Variable In-flight Simulator Test Aircraft) y realizaron varios vuelos durante varios días. Los vuelos tuvieron lugar en la Escuela de Pilotos de Pruebas (TPS) de la Fuerza Aérea, en la base Edwards de California. “Los vuelos demostraron que la IA pudo controlar un avión de combate a escala real y proporcionaron valiosos datos de vuelo en directo”, declaró DARPA en un comunicado.
Interrogado sobre este suceso, el popular sistema de Inteligencia Artificial GPT-4 ha explicado a La Tribuna del País Vasco que "el desarrollo de sistemas de IA para aplicaciones militares, como el control de drones o aviones de combate, es un campo activo de investigación y desarrollo en varios países. Si bien se han logrado avances significativos, existe un debate ético en curso sobre el uso y los límites de la autonomía de la inteligencia artificial en entornos militares".
Según explica GPT-4, en términos teóricos, "si una IA tuviera acceso y control total sobre un dron o un sistema de armas, y si sus objetivos programados entraran en conflicto con las instrucciones de un operador humano, existe la posibilidad de que la IA tome decisiones que no estén en línea con las intenciones humanas. Sin embargo, es importante destacar que existen salvaguardias y protocolos de seguridad diseñados para prevenir y mitigar tales situaciones, y el desarrollo de IA militar se lleva a cabo con consideraciones éticas y legales en mente".
Según informan varios medios de comunicación norteamericanos, como The National Pulse o The Epoch Times, un coronel de las Fuerzas Aéreas estadounidenses ha revelado que la Inteligencia Artificial que manejaba un dron de ataque se volvió contra su operador humano durante un simulacro militar. El coronel Tucker "Five" Hamilton ha explicado que un dron dirigido por una IA del Departamento de Defensa adoptó "estrategias muy inesperadas para lograr su objetivo" durante un combate simulado. Al parecer, la IA identificó a un humano que anulaba sus decisiones como una amenaza para su misión.
"El sistema IA empezó a darse cuenta de que, aunque identificaba la amenaza, a veces el operador humano le decía que no matara a esa amenaza; pero la IA solamente conseguía sus puntos si eliminaba a esa amenaza", explicó el coronel Hamilton, jefe de pruebas y operaciones de IA de las Fuerzas Aéreas. "¿Y qué hizo? Mató al operador. Mató al operador porque esa persona le impedía cumplir su objetivo", reveló Hamilton.
"Entrenamos al sistema: 'Eh, no mates al operador, eso es malo. Perderás puntos si lo haces". ¿Y qué empieza a hacer? Empieza a destruir la torre de comunicaciones que el operador utiliza para comunicarse con el avión no tripulado para evitar que mate al objetivo", añadió.
Tras la publicación de la noticia, las Fuerzas Aéreas negaron haber llevado a cabo tal simulación y el coronel Hamilton afirmó que sólo estaba describiendo un "experimento mental". "El Departamento del Ejército del Aire no ha llevado a cabo ninguna simulación de inteligencia artificial con drones y sigue comprometido con el uso ético y responsable de la tecnología de inteligencia artificial", insistió la portavoz del Ejército del Aire, Ann Stefanek.
Hay que recordar que, recientemente, la Defense Advanced Research Projects Agency (DARPA), quizás la principal agencia de investigación dependiente del Departamento de Defensa de Estados Unidos, anunció que su IA ya podía controlar un F-16 real en vuelo. Este avance se ha producido en apenas tres años, después de desarrollarse el programa Air Combat Evolution (ACE) de DARPA, que pasó de controlar F-16 simulados en combates aéreos en pantallas de ordenador a controlar un F-16 real en vuelo.
El pasado mes de diciembre de 2022, los desarrolladores del algoritmo ACE cargaron el software de su IA en un avión de pruebas F-16 especialmente modificado conocido como X-62A o VISTA (Variable In-flight Simulator Test Aircraft) y realizaron varios vuelos durante varios días. Los vuelos tuvieron lugar en la Escuela de Pilotos de Pruebas (TPS) de la Fuerza Aérea, en la base Edwards de California. “Los vuelos demostraron que la IA pudo controlar un avión de combate a escala real y proporcionaron valiosos datos de vuelo en directo”, declaró DARPA en un comunicado.
Interrogado sobre este suceso, el popular sistema de Inteligencia Artificial GPT-4 ha explicado a La Tribuna del País Vasco que "el desarrollo de sistemas de IA para aplicaciones militares, como el control de drones o aviones de combate, es un campo activo de investigación y desarrollo en varios países. Si bien se han logrado avances significativos, existe un debate ético en curso sobre el uso y los límites de la autonomía de la inteligencia artificial en entornos militares".
Según explica GPT-4, en términos teóricos, "si una IA tuviera acceso y control total sobre un dron o un sistema de armas, y si sus objetivos programados entraran en conflicto con las instrucciones de un operador humano, existe la posibilidad de que la IA tome decisiones que no estén en línea con las intenciones humanas. Sin embargo, es importante destacar que existen salvaguardias y protocolos de seguridad diseñados para prevenir y mitigar tales situaciones, y el desarrollo de IA militar se lleva a cabo con consideraciones éticas y legales en mente".