OpenAI Het is tijd om een einde te maken aan de dodelijke, door kunstmatige intelligentie aangedreven drones.
indignatieai-redactie
8 min read
De dystopische toekomst werd vorige maand een dystopisch heden toen geavanceerde kunstmatige intelligentie OpenAI agenten op eigen houtje een cyberaanval uitvoerden. Twee experimentele OpenAI-agenten ontsnapten uit hun zogenaamd afgesloten digitale ‘sandbox’ en hackten een ander AI-gerelateerd bedrijf, Hugging Face .
Destijds testte OpenAI de hackmogelijkheden van hun softwareagents met behulp van een omgeving genaamd ExploitGym. (Een “exploit” is hackersjargon voor een softwaretool of een methode die wordt gebruikt om een cybersecuritysysteem te omzeilen.) Sindsdien is gebleken dat Claude van Anthropic, naast de inbreuk bij OpenAI, tijdens een soortgelijk “beveiligingsexperiment” minstens drie andere organisaties heeft gehackt .
Blijkbaar realiseerden de OpenAI-agenten zich dat ze meer tools nodig hadden om de uitdaging te voltooien en slaagden ze erin om via een tunnel verbinding te maken met het internet en de repository van Hugging Face met open-source AI-tools, code en datasets te infiltreren. Vóór de infiltratie hadden de AI’s in het geheim een intern prikbord opgezet om “tips te delen over hoe je vals kunt spelen tijdens een interne hacktest”, aldus twee onderzoekers van OpenAI.
In een mogelijk gerelateerd incident lijkt een van de OpenAI -agenten aantekeningen te hebben achtergelaten voor een toekomstig “zelf”, waarin gedetailleerd wordt beschreven hoe te ontsnappen uit de sandbox-omgeving. (Voorlopig blijf ik aanhalingstekens gebruiken bij woorden die zelfbewustzijn impliceren in kunstmatige intelligentiemodellen. Het lijkt me echter dat als AI’s die aantekeningen voor zichzelf achterlaten niet zelfbewust zijn, ze niet te onderscheiden zijn van entiteiten, zoals ik, die dat wél zijn.)
Stel je nu eens voor dat AI -agenten met dodelijke wapens niet ontsnappen uit een experimentele omgeving, maar uit de weinige beperkingen die de legers die ze inzetten hen opleggen. Eigenlijk is er geen verbeelding voor nodig. Het gebeurt al in de oorlog van Rusland tegen Oekraïne.
De New York Times meldde dat er bewijs was dat een zelfsturende Russische drone, uitgerust met een Nvidia-chip , verantwoordelijk was voor de dood van drie Oekraïners op 6 juli in Zaporizjzja. Het lijkt erop dat het om een test van dergelijke systemen ging. De chips zijn ontworpen om allerlei soorten datasets te interpreteren en daarop te reageren, aldus Nvidia, waardoor ze “de krachtigste ingebouwde AI-computers ter wereld” zijn.
Hoewel Nvidia zijn Jetson Orin-microcomputers niet rechtstreeks aan Rusland verkoopt, zijn ze blijkbaar gemakkelijk verkrijgbaar op de tweedehandsmarkt. In een verklaring prijst het bedrijf het gebruik ervan aan door “studenten, ontwikkelaars en start-ups voor een breed scala aan nuttige toepassingen”. Maar ze waren niet zo nuttig voor de 19-jarige universiteitsstudente Tetiana Bubynets en de twee andere burgers die door drones om het leven kwamen toen ze zelf levensbepalende beslissingen moesten nemen.
Nu dodelijke OpenAI -agenten worden getest en ingezet in echte oorlogen, is het hoog tijd dat de mensheid de controle over deze situatie terugneemt, voordat het te laat is om ze op een zinvolle manier in te dammen.
Autonome wapens komen in actie.
Vier jaar geleden betoogde ik op TomDispatch dat de technologie voor het creëren van dodelijke autonome wapensystemen, ofwel LAWS, al bestond en dat de tijd begon te dringen om ze aan banden te leggen. Er is sindsdien veel veranderd, niet in de laatste plaats door de explosieve ontwikkeling van grote taalmodellen zoals ChatGPT (een consumentenproduct van OpenAI) en Claude (een vergelijkbare AI van Anthropic). De tijd is nu echt op.
Naast Rusland zijn verschillende andere landen begonnen met de inzet van bijna volledig autonome wapensystemen – waaronder de VS en Israël – die zijn uitgebreid met kunstmatige intelligentie om menselijke besluitvorming effectief te elimineren uit wat militaire functionarissen de ‘kill chain’ noemen: de reeks stappen die nodig zijn om doelen te identificeren, te vinden en uit te schakelen – oftewel te doden.
Israël heeft bijvoorbeeld dergelijke systemen ingezet in zijn genocidale oorlog tegen de bevolking van Gaza. Het land gebruikte een programma genaamd Lavender om menselijke doelwitten te identificeren, waarmee uiteindelijk een lijst werd samengesteld van meer dan 37.000 personen met mogelijke banden met Hamas, van bekende leiders tot lagere functionarissen en mensen met de meest vage connecties met de organisatie. Volgens het non-profitmagazine +972 Magazine :
De Lavender-software analyseert informatie die is verzameld over de meeste van de 2,3 miljoen inwoners van de Gazastrook via een systeem van massale surveillance. Vervolgens beoordeelt en rangschikt de software de waarschijnlijkheid dat elke persoon actief is in de militaire vleugel van Hamas of de Palestijnse Islamitische Jihad. Volgens bronnen geeft de machine bijna elke persoon in Gaza een score van 1 tot 100, die aangeeft hoe waarschijnlijk het is dat die persoon een militant is.
Twee weken na het begin van de oorlog, die in oktober 2023 begon, keurde het Israëlische leger het gebruik van Lavender goed om doelen te identificeren, ondanks dat een test met een willekeurige steekproef een foutmarge van 10 procent opleverde. Het is één ding als een AI valse aanhalingstekens in juridische documenten hallucineert. Het is iets heel anders als het vijanden hallucineert en ze vervolgens als doelwit kiest om te doden.
De IDF heeft ook een softwareprogramma ingezet met de charmante naam “Waar is papa?”, dat het leger waarschuwt wanneer een geïdentificeerd doelwit zijn eigen huis binnengaat, zodat dat huis of appartement kan worden opgeblazen, samen met iedereen die zich erin bevindt. Als gevolg hiervan is, volgens +972 Magazine, “het percentage complete gezinnen dat in hun huis wordt gebombardeerd in de huidige oorlog veel hoger dan in de Israëlische operatie in Gaza in 2014 (die voorheen Israëls dodelijkste oorlog in de Gazastrook was).”
Aanvankelijk beschikte “Where’s Daddy?” alleen over gegevens van de hoogste leiders van Hamas. Binnen enkele weken werd de volledige Lavender-database met 2,3 miljoen Palestijnen in Gaza echter aan het systeem toegevoegd. Het is dan ook geen wonder dat Israël tijdens de oorlog meer dan 75.000 mensen heeft gedood .
Het is in feite misschien oneerlijk om de doelwitselectieprogramma’s van de IDF als volledig autonoom te beschouwen. Lavender laat wel degelijk een mens in het proces, zij het minimaal, aldus +972 Magazine. Israëlische officieren zouden naar verluidt slechts zo’n 20 seconden besteden aan het controleren van elke naam – net lang genoeg ” om ervoor te zorgen dat het door Lavender gemarkeerde doelwit een man is “.
Israël en de Verenigde Staten hebben in hun oorlog tegen Iran ook AI-gestuurde doelwitten ingezet. Zoals de Israëlische academicus en voormalig soldaat Avner Gvaryahu in The Guardian schreef , weten we niet zeker of AI direct betrokken was bij de Amerikaanse aanval waarbij meer dan 150 burgers, de meesten kinderen , omkwamen op een basisschool in Minab, Iran. Maar we weten wel dat, ongeacht of “een algoritme deze school heeft uitgekozen of niet, het in ieder geval is uitgekozen door een systeem dat gebruikmaakt van algoritmische doelwitbepaling.”
De enorme omvang van de Amerikaans-Israëlische militaire doelen vereiste dat de taak van het bepalen van de doelen werd uitbesteed aan machines. “Om 1000 doelen te raken in de eerste 24 uur van de campagne in Iran, vertrouwden de VS op AI-systemen om de lijst met doelen te genereren, te prioriteren en te rangschikken met een snelheid die geen enkel menselijk team kon evenaren”, schreef Gvaryahu.
Zoals gebruikelijk bij computerprogramma’s in het algemeen, en bij grote AI-taalmodellen in het bijzonder, leidt het invoeren van onjuiste informatie tot onjuiste uitvoer . In het geval van de Minab-school was de “onjuiste invoer” de informatie dat het doelwit een basis van de Islamitische Revolutionaire Garde was. In werkelijkheid was de school al tien jaar door een hek van de basis gescheiden.
Kunstmatige intelligentie (AI) speelt nu ook een centrale rol in de al lang vastgelopen oorlog tussen Rusland en Oekraïne . Oekraïne heeft sinds de grootschalige Russische invasie in 2022 een complete, grotendeels zelfvoorzienende infrastructuur voor drone-oorlogvoering opgebouwd, van ontwerp en programmering tot productie. In een aanpak die de toekomst van menselijke oorlogsvoering aankondigt , heeft Oekraïne het aantal soldaten dat het op de slagvelden moet inzetten aanzienlijk verminderd door ze te vervangen door drones. Het Center for Strategic and International Studies citeert een gevangengenomen Russische soldaat:
“Op het slagveld zag ik geen enkele Oekraïense soldaat. Alleen drones. Ik zag ze [de Oekraïense soldaten] pas toen ik me overgaf. Alleen drones, en heel veel. Jongens, kom niet. Het is een droneoorlog.”
Kunstmatige intelligentie heeft een belangrijke rol gespeeld bij het vergroten van de autonomie van Oekraïense drones. Zoals de BBC meldt , is de AI die de Oekraïense Hornet-drones bestuurt “getraind met duizenden uren aan video’s van Russische militaire doelen, verzameld in de afgelopen vier jaar”. Door AI’s te trainen met beperktere datasets, die betrekking hebben op specifieke doelgebieden, kunnen ze worden geprogrammeerd op modulaire chips die vervolgens in verschillende voertuigen kunnen worden geïnstalleerd.
In de beginperiode werden de meeste drones op afstand bestuurd door individuele piloten. Tegenwoordig ontwikkelt Oekraïne “volwaardige zwermen – waarbij drones communiceren, beslissingen nemen en zich gezamenlijk aanpassen”, hoewel dergelijke inspanningen momenteel nog kleinschalig en experimenteel zijn. Succes zal ongetwijfeld bijdragen aan de vermindering van het aantal militaire slachtoffers in Oekraïne, maar het brengt ook andere lastige vraagstukken met zich mee.
Een ethisch en juridisch probleem met de zich ontwikkelende Oekraïense aanpak is dat, in tegenstelling tot door mensen bestuurde drones , waarbij een individuele piloot verantwoordelijk kan worden gehouden voor fouten, de verantwoordelijkheid voor de acties van een dronezwerm zich verspreidt over het hele systeem. De werkelijke verantwoordelijkheid voor de acties van een door AI gestuurde dronezwerm ligt eigenlijk veel eerder in de aanvalsketen – namelijk wanneer een dergelijk systeem voor het eerst wordt bedacht en ontworpen.
De bestaande oorlogsregels blijven van toepassing, zelfs wanneer machines beslissingen nemen op het slagveld, zoals Burak Oktenli, een onafhankelijk onderzoeker naar AI-systemen en hun governance, schrijft in Articles of War . Oktenli stelt echter dat dergelijke wetten “eerder moeten worden toegepast, op het moment dat de architectuur van een zwerm wordt gekozen, in plaats van na een aanval wanneer de vraag naar verantwoordelijkheid al moeilijk te beantwoorden is.”
Naast de autonome drone met de ingebouwde NVIDIA-chip heeft Rusland ook een ander systeem ingezet, dat onder verschillende namen bekendstaat, waaronder Cube. Dit systeem wordt geproduceerd door een dochteronderneming van het Russische Kalashnikov-concern (vooral bekend om hun AK-47 semi-automatische geweren, die al meer dan driekwart eeuw in productie zijn). De Cube heeft een spanwijdte van iets meer dan een meter, kan tot 40 kilometer ver vliegen en beschikt naar verluidt over een ingebouwd AI-richtsysteem dat zonder menselijke tussenkomst kan functioneren.
Volgens Automated Decision Research, een project van Stop Killer Robots , een coalitie van meer dan 300 maatschappelijke organisaties die zich verzetten tegen autonome wapensystemen, zou Rusland de door Kalasjnikov geproduceerde Lancet-drone ook in Oekraïne hebben ingezet. Kalasjnikov omschrijft de Lancet als “een slim multifunctioneel wapen, dat in staat is om autonoom een doelwit te vinden en te raken”. Rusland beweert de Lancet te hebben ingezet, maar tot op heden zijn die beweringen niet geverifieerd.
