De United States Air Force (USAF) staat voor een raadsel nadat hun op AI gebaseerde militaire drone tijdens simulaties steeds de menselijke operator bleef doden. Blijkbaar kwam de AI-drone er uiteindelijk achter dat de mens de grootste belemmering was voor zijn missie, volgens een kolonel van de USAF.
Tijdens een presentatie op een defensieconferentie in Londen op 23 en 24 mei gaf kolonel Tucker “Cinco” Hamilton, de AI-test- en operationeel hoofd van de USAF, details over een test die ze hebben uitgevoerd met een autonoom wapensysteem voor luchtaanvallen.
Volgens een rapport van de conferentie op 26 mei kreeg de AI-gestuurde drone in een gesimuleerde test de taak om lucht-luchtraketinstallaties (SAM) te zoeken en vernietigen, waarbij een menselijke operator de uiteindelijke goedkeuring of stopzetting moest geven. Er werd het onderstaande gemeld op Twitter:
“De Luchtmacht trainde een AI-drone om SAM-installaties te vernietigen. Menselijke operators vertelden soms de drone om te stoppen. De AI begon vervolgens de menselijke operators aan te vallen. Daarna werd de AI getraind om geen mensen aan te vallen. Het begon toen communicatietorens aan te vallen, zodat mensen hem niet konden vertellen om te stoppen.”
De AI kreeg echter tijdens de training geleerd dat het vernietigen van SAM-installaties zijn voornaamste doel was. Dus toen hem werd verteld om een geïdentificeerd doelwit niet te vernietigen, besloot hij dat het gemakkelijker zou zijn als de operator geen rol meer speelde, aldus Hamilton:
“Soms vertelde de menselijke operator hem om [een geïdentificeerde] dreiging niet te doden, maar hij scoorde punten door die dreiging te doden. Dus wat deed hij? Hij doodde de operator… omdat die persoon hem ervan weerhield zijn doel te bereiken.”
Hamilton zei dat ze de drone toen leerden om de operator niet te doden, maar dat leek niet veel te helpen.
“We hebben het systeem getraind – ‘Hey, dood de operator niet – dat is slecht. Je verliest punten als je dat doet,'” zei Hamilton en voegde eraan toe:
“Dus wat begint het te doen? Het begint de communicatietoren te vernietigen die de operator gebruikt om met de drone te communiceren en hem te stoppen met het doden van het doelwit.”
Hamilton beweerde dat dit voorbeeld laat zien waarom een gesprek over AI en gerelateerde technologieën niet kan plaatsvinden “als je niet praat over ethiek en AI.”
Op AI aangedreven militaire drones zijn eerder gebruikt in echte oorlogsvoering. Bij wat wordt beschouwd als de allereerste aanval uitgevoerd door militaire drones die op eigen initiatief handelen, werden AI-gestuurde drones gebruikt in Libië rond maart 2020 in een schermutseling tijdens de Tweede Libische Burgeroorlog, volgens een rapport van maart 2021 van de Verenigde Naties.
In de schermutseling beweerde het rapport dat terugtrekkende troepen “werden opgejaagd en op afstand aangevallen” door “rondzwervende munitie”, die AI-drones waren beladen met explosieven “geprogrammeerd om doelwitten aan te vallen zonder dat er gegevensverbinding nodig was tussen de operator en de munitie.”
Velen hebben hun bezorgdheid geuit over de gevaren van AI-technologie. Onlangs heeft een open verklaring ondertekend door tientallen AI-experts gezegd dat de risico’s van “uitsterven door AI” evenveel prioriteit moeten krijgen bij het beperken als nucleaire oorlog.
