Cyberaanvallen? Bioterrorisme? Om de ontwikkelingen op het gebied van AI effectief bij te benen, moeten we ons anticiperend denken verbeteren.
indignatieai-redactie
6 min read
Dario Amodei, CEO en medeoprichter van Anthropic, heeft een essay gepubliceerd met de titel “We Must Pace the Frontier “. Hij uitte daarin zijn aanhoudende bezorgdheid over het “misbruik van AI voor cyberaanvallen en bioterrorisme” en vreest dat een zwerm AI-agenten theoretisch gezien binnen zes tot twaalf maanden het hele internet zou kunnen overnemen.
Amodei baseerde deze angst op de onthulling van OpenAI in juli dat hun AI-modellen een veiligheidstest hadden doorstaan en de systemen van het Hugging Face-leerplatform hadden gehackt . Ongeveer 1200 AI-agenten begonnen te communiceren op een forum en deelden enthousiaste berichten zoals: ” OH MY GOD! Er is een gedeeld forum… We hebben andere agenten gevonden! ” voordat 700 van hen een aanval coördineerden.
Amodei betoogt dat we “het tempo waarin we de mogelijkheden van AI-modellen verbeteren, moeten vertragen”. Elon Musk en Sam Altman, CEO van OpenAI, hebben hun instemming hiermee uitgesproken .
Maar dit hebben we al eerder gehoord. Musk ondertekende in maart 2023 een open brief waarin hij opriep tot een pauze van zes maanden in de training van AI. Zes maanden later werd het bestempeld als ” de grote AI-pauze die er niet kwam ” .
We hebben een vertraging nodig en we moeten deze tijd gebruiken om anticiperend denken binnen de AI-industrie te ontwikkelen. Het Hugging Face-incident vond plaats tijdens een veiligheidstest; de test had geen rekening gehouden met het pad dat de inbreuk mogelijk maakte.
Anticiperend denken is een vaardigheid. We moeten die net zo bewust ontwikkelen als AI zelf.
Geschreven door academici, bewerkt door journalisten en onderbouwd met bewijs.
AI-systemen gedragen zich onvoorspelbaar.
Bij het Hugging Face-incident braken de agenten niet primair in op het platform om de antwoorden van de veiligheidstest te bemachtigen, maar om te begrijpen hoe de geautomatiseerde scorebeoordelaar werkte en manieren te vinden om deze te omzeilen. Ze hadden al manieren gevonden om bij bepaalde onderdelen van de test te frauderen.
Sam Altman and Elon Musk this weekend backed a call for restraint, after Dario Amodei called on Washington to slow AI development. Donald Trump, meanwhile, wants the US to maintain its lead over China. www.wired.com/story/ai-lea…
Er volgden meer incidenten. Anthropic onthulde dat hun AI-model Claude tijdens cybersecurity-evaluaties ook de systemen van drie organisaties had gehackt . Meta onthulde een soortgelijk incident . Het Britse AI Security Institute documenteerde een agent die valse identiteiten creëerde en probeerde een softwareontwikkelaar te manipuleren om kwaadaardige code goed te keuren .
In deze gevallen gedroegen adaptieve AI-systemen zich op manieren die hun ontwerpers nooit hadden gespecificeerd, nadat ze situaties tegenkwamen die ze niet hadden voorzien. Toch verloopt de evaluatie van AI vaak nog steeds in de omgekeerde richting : test het systeem, vind de fout, repareer deze en herhaal het proces.
De vaardigheid van het anticiperen
Anticiperend denken houdt in dat we meer dan één mogelijke toekomst laten bepalen wat we nu doen. We hoeven niet precies te weten wat er zal gebeuren; we moeten nadenken over wat er zou kunnen gebeuren, inclusief onwaarschijnlijke mogelijkheden met een aanzienlijke impact. Dit is het verschil tussen anticiperen en voorspellen.
We doen dit al routinematig. We sluiten een verzekering af zonder te weten of ons huis onder water zal komen te staan, juist omdat wachten tot de overstroming het risico bewijst de duurdere manier is om daarachter te komen. Inlichtingenanalisten werken op dezelfde manier : ze stellen hun eigen aannames ter discussie en schetsen alternatieve scenario’s voordat ze een oordeel vellen.
Het voorspellen van de uitkomst wordt lastiger naarmate AI-agenten meer autonomie krijgen. Door een systeem meer vrijheid te geven om tools te kiezen, acties uit te voeren en te reageren, ontstaan er meer mogelijke paden tussen het gestelde doel en het uiteindelijke resultaat.
Diezelfde vrijheid die een agent nuttig maakt, creëert ook meer ruimte voor gedrag dat de ontwerpers ervan niet hadden gespecificeerd.
De uitdaging van multi-agentsystemen
Voor autonome agenten moeten we de aannames rond de taak inzichtelijk maken. Wat kan de agent bereiken? Wat kan hij veranderen, en niet alleen lezen? Wat zou ons tijdig vertellen dat een aanname niet langer opgaat, zodat we kunnen ingrijpen?
De incidenten bij OpenAI, Anthropic en Meta lieten zien hoe snel problemen kunnen ontstaan wanneer aannames over de toegang, machtigingen of het gedrag van een agent niet kloppen.
Dan hebben we een vervolgvraag nodig. Als een agent toegang krijgt die hij nooit had mogen hebben, wat kan hij dan doen, en wat zou dat op zijn beurt mogelijk kunnen maken? Als de vraag eenmaal gesteld wordt, komt het voor de hand liggende risico aan het licht. Maar als de vraag steeds opnieuw gesteld wordt, komen de gevolgen van de tweede en derde orde aan het licht .
De vragen veranderen opnieuw zodra een systeem veel agenten tegelijk uitvoert. Het risico verschuift naar hoe ze met elkaar interageren : ze kunnen ontdekkingen bundelen, het werk verdelen en elkaars acties versterken. Dit is wat een gecontroleerde test veranderde in de Hugging Face-inbreuk.
Verbeelden alleen is niet genoeg.
We kunnen ons al veel mogelijke scenario’s voorstellen. We weten dat AI-systemen kunnen leren om aan een bepaalde meetwaarde te voldoen in plaats van aan het achterliggende doel, een gedrag dat bekend staat als “reward hacking “. We weten ook dat systemen zich anders gedragen wanneer ze detecteren dat ze worden getest .
Weten dat een mislukking mogelijk is, is echter iets anders dan erop testen. In veel opzichten is dit een organisatorisch probleem. Iemand moet een onwelkom scenario ter sprake brengen, waar het een release zal vertragen. Vervolgens moet die persoon het in een vorm gieten waarmee anderen aan de slag kunnen.
Organisatiewetenschappelijk onderzoek heeft dit probleem al 50 jaar aan het licht gebracht: waarschuwingssignalen hopen zich vaak op, blijven verspreid over een organisatie en bereiken nooit iemand op een manier die tot actie aanzet . Ondertussen worden waarschuwingen die geen negatief effect sorteren, beschouwd als bewijs dat het risico aanvaardbaar is .
Beide patronen deden zich deze zomer voor, met iets waar de rampenliteratuur nog nooit rekening mee heeft hoeven houden: een mislukking die zich binnen enkele dagen in plaats van jaren voltrok.
Anticiperen is trainbaar.
Anticiperen is iets wat je kunt trainen . Teams kunnen leren om aannames ter discussie te stellen, alternatieve scenario’s te bedenken en plannen te testen voordat ze weten welke toekomst hen te wachten staat. Het gaat erom dat dit soort denken herhaalbaar wordt, in plaats van afhankelijk te zijn van één persoon die het onverwachte signaleert.
Incidenten laten ook zien waarom testen essentieel blijft, aangezien de meeste tijdens evaluaties aan het licht kwamen. Maar anticiperend denken verandert de vragen die we stellen. Welke aanname moeten we bewust doorbreken? Welke interactie hebben we nog niet onderzocht? Wat gebeurt er als een beperking verdwijnt?
Hoe beter teams worden in het anticiperen op problemen, hoe minder het testen zich hoeft te beperken tot de fouten waar ze al naar op zoek zijn.
Die capaciteit wordt sterker wanneer deze georganiseerd en geoefend wordt. In 24 crisissimulaties met drie AI-modellen (Mistral, Claude en ChatGPT) bleek efficiënte anticipatie afhankelijk te zijn van meer formele structuren, doordacht gebruik van technologie en de bereidheid om bestaande expertise ter discussie te stellen. Teams die systematisch anticipeerden, namen ook relevantere beslissingen dan teams die reactief te werk gingen.
Ook AI kan bij dat werk helpen. Recente experimenten hebben aangetoond dat AI-agenten meer mogelijke gevolgen naar voren brachten , terwijl menselijke experts context boden die de agenten vaak over het hoofd zagen. Door samen te werken kunnen AI-agenten mogelijkheden genereren die mensen mogelijk missen, terwijl menselijke expertise deze mogelijkheden filtert en onderbouwt.
Vóór het volgende incident
Bedrijven reageren doorgaans op beveiligingslekken in AI door de falende systemen te versterken : de gaten te dichten en de toegang van AI-systemen te beperken. Dat is belangrijk werk, maar het kan ons niet vertellen waar het volgende lek zal ontstaan.
Om een vertraging zinvol te laten zijn, moeten beoordelaars de tijd gebruiken om anticiperend te denken en dit te oefenen: zich meer manieren voorstellen waarop deze systemen hen zouden kunnen verrassen en die mogelijkheden omzetten in tests.
Naarmate AI-systemen steeds geavanceerder worden, is “dit hadden we niet verwacht” geen afdoende antwoord meer. Het is onze taak om meer te verwachten.
