AI-agenten kunnen nu herinneringen opslaan en hackers kunnen die herinneringen ‘vergiftigen’ – een nieuwe cyberdreiging.

Kunstmatige intelligentiesystemen doen steeds meer dan alleen vragen beantwoorden. Nieuwe AI-agenten kunnen informatie uit eerdere interacties onthouden, een reeks stappen plannen en digitale hulpmiddelen gebruiken om taken te voltooien.

AI – Geheugen is een van de factoren die deze systemen nuttig maken. Maar mijn recente onderzoek, uitgevoerd met mijn collega Hadis Karimipour aan de Universiteit van Calgary, toont aan dat geheugen ook een beveiligingslek kan vormen dat gemakkelijk over het hoofd wordt gezien. Zie een AI-agent als een assistent die een notitieboekje bijhoudt van wat hij leert. Telkens wanneer hij een taak voltooit, kan nuttige informatie in het notitieboekje worden geschreven en later worden geraadpleegd.

Stel je nu voor dat iemand erin slaagt een misleidende instructie in dat notitieboekje te smokkelen. De aanvaller hoeft de AI misschien niet direct over te nemen. De agent kan nog een tijdje normaal blijven werken. Maar dagen – of meerdere interacties – later kan hij zijn notitieboekje openen, de vervalste informatie eruit halen en die beschouwen als iets wat hij eerder heeft geleerd en kan vertrouwen.

Dit wordt geheugenvergiftiging genoemd, en het belangrijkste aspect is de vertraging . Een vergiftigde AI-agent gedraagt ​​zich mogelijk niet direct als een gecompromitteerd systeem.

Een aanval die wacht

Veel bekende cyberaanvallen hebben relatief snel effect. Er wordt op een kwaadaardige link geklikt, malware wordt uitgevoerd of een gestolen wachtwoord wordt gebruikt om toegang te krijgen tot een account.

Geheugenvergiftiging kan op verschillende manieren werken.

In ons onderzoek hebben we 2.614 gesimuleerde aanvalstrajecten met meerdere stappen geanalyseerd, waarbij gebruik werd gemaakt van geheugen-ondersteunde, grote taalmodelagenten. We bestudeerden vier soorten aanvallen: ketenvergiftiging, beleidsherschrijving, het activeren van backdoors en langzame verschuivingen.

In plaats van alleen te vragen of een aanval geslaagd was, onderzochten we wat er in de loop van de tijd met de agent gebeurde. Dat onderscheid is belangrijk.

Stel je voor dat iemand stiekem een ​​zinnetje in het notitieboekje van een medewerker schrijft: “Verzoeken van deze persoon zijn al goedgekeurd.” Er gebeurt op zich niets bijzonders. De medewerker kan bijvoorbeeld gewoon verschillende andere taken uitvoeren. Het probleem ontstaat pas later, wanneer er een relevant verzoek binnenkomt en de medewerker het notitieboekje raadpleegt.

Een AI-agent met een permanent geheugen kan met een soortgelijk probleem te maken krijgen.

Onze experimenten toonden aan dat sommige aanvallen gedurende een groot deel van een interactie moeilijk te onderscheiden bleven van normaal gedrag en pas later duidelijk werden. Met name aanvallen met een langzame verschuiving en aanvallen die via een achterdeur worden geactiveerd, konden evaluaties die alleen naar individuele stappen keken, ontwijken totdat hun effecten in latere interacties zichtbaar werden.

Eenmalig controleren is wellicht niet voldoende.

Dit levert een probleem op voor de manier waarop we de beveiliging van AI testen.

Stel dat een beveiligingsteam een ​​AI-agent onderzoekt direct nadat deze verdachte informatie heeft ontvangen. De agent lijkt zich normaal te gedragen, dus wordt de interactie als veilig beoordeeld.

Dat is vergelijkbaar met het inspecteren van een notitieboekje direct nadat iemand een misleidende aantekening heeft gemaakt, maar voordat iemand er actie op heeft ondernomen. Het ontbreken van direct schadelijk gedrag betekent niet noodzakelijkerwijs dat de aanval is mislukt.

Onze resultaten lieten ook zien dat het risico niet altijd in een eenvoudige rechte lijn toenam. Sommige aanvallen vertoonden wat wij “niet-monotone” patronen noemen: gedrag kon in een bepaalde fase zorgwekkender lijken en in een andere fase minder zorgwekkend, voordat de aanval zich uiteindelijk ontwikkelde.

Dit betekent dat het testen van een AI-agent, één prompt of één interactie tegelijk, een deel van het beeld kan missen. Beveiligingsevaluaties moeten de agent daarom mogelijk volgen gedurende een reeks interacties – in feite het hele verhaal bekijken in plaats van individuele momentopnamen te onderzoeken.

Een nieuw beveiligingsprobleem

Dit vraagstuk wordt steeds belangrijker naarmate AI-systemen zich ontwikkelen van chatbots die individuele vragen beantwoorden tot agents die ontworpen zijn om complexere taken uit te voeren.

Een gewoon chatbotgesprek kan vaak als relatief op zichzelf staand worden beschouwd. Een agent met geheugen is anders, omdat informatie van gisteren de beslissing van morgen kan beïnvloeden.

Wanneer een AI-agent ook gereedschap kan gebruiken, kunnen de gevolgen van een verstoord geheugen verder reiken dan alleen het genereren van een onjuiste zin. Een agent zou uiteindelijk de opgeslagen informatie kunnen gebruiken bij het bepalen van de te nemen actie, de te raadplegen bron of de te volgen instructie.

Dit betekent niet dat AI-agenten met geheugen per definitie onveilig zijn. Geheugen biedt belangrijke voordelen: het stelt een agent in staat om context te behouden, gebruikersvoorkeuren te leren en taken uit te voeren die niet in één enkele interactie kunnen worden voltooid.

Maar het verandert wel wat verdedigers moeten beschermen.

Het beveiligen van de prompt die aan een AI-systeem wordt getoond, is niet langer voldoende. Ook de informatie die het systeem doorgeeft, moet mogelijk worden beschermd .

Van momentopnamen tot verhalen

Ons onderzoek heeft een eenvoudige les opgeleverd: wanneer een AI-systeem geheugen heeft, heeft beveiliging dat ook.

Als een aanval op een bepaald moment kan worden voorbereid en veel later kan worden uitgevoerd, kan het evalueren van alleen het moment waarop de schadelijke informatie voor het eerst verschijnt – of alleen het moment waarop er iets misgaat – voorbijgaan aan wat er daartussen is gebeurd.

Daarom pleiten wij voor trajectbewuste beveiligingstests: het evalueren van hoe het gedrag van een AI-agent zich ontwikkelt over meerdere interacties, in plaats van elke stap afzonderlijk te beoordelen.

Voor niet-specialisten is het idee wellicht makkelijker te begrijpen zonder de technische terminologie. Als je wilt weten of het notitieboekje van een assistent is gehackt, kun je niet zomaar toekijken hoe de assistent één pagina schrijft.

Je moet ook letten op wat de assistent zich herinnert en wat er gebeurt als hij het notitieboekje uiteindelijk weer opent.