Agentische AI ​​is een wapen, maar tegen wie is nog niet duidelijk.

In een nogal dubieuze marketingtruc voor dit essay, begin ik meteen met de clou. Agentische AI ​​– het soort dat momenteel de krantenkoppen haalt – kan een gevaarlijk en onvoorspelbaar wapen zijn, of een softwaretool met weinig toegevoegde waarde voor een beperkt aantal sectoren. Wat het op dit moment in ieder geval niet kan zijn, is een voorspelbaar wapen of een softwaretool met hoge toegevoegde waarde.

Nu Donald Trump beleid voert door geen beperkingen op te leggen aan AI, wordt ervoor gekozen om er een gevaarlijk wapen van te maken. Dit geldt zowel voor de gebruiker als voor het doelwit.

Het probleem is momenteel dat dit ene product – Agentic AI – wordt gepresenteerd als zowel een veilig apparaat voor het automatiseren van routinetaken als een meedogenloos hackinstrument met militaire toepassingen.

De nadelen zijn dat Agentic AI als bedrijfssoftware minder toegevoegde waarde biedt dan verwacht. En als wapen zijn de resultaten te onvoorspelbaar. Omdat AI-ontwikkelaars de optimalisatieberekeningen blijkbaar niet goed hebben doordacht, stevent de AI-industrie af op een crisis waaruit geen duidelijke uitweg lijkt te zijn.

Dit probleem past niet in het marketingpraatje. De AI-modellen zouden niet ’te krachtig’ zijn als ze beheersbaar waren. Maar dat zijn ze niet. Of beter gezegd, de keerzijde van beheersbaarheid is dat ze niet werken zoals bedoeld. Het probleem met de wiskunde wordt hieronder (voorzichtig) uitgelegd. Door beslissingen die veertig jaar geleden zijn genomen, kan het in het heden niet worden opgelost.

Chipfabrikant Nvidia beweert een oplossing te hebben. Na deze bewering te hebben bekeken, blijkt het pure marketing te zijn. Nvidia lost de afweging tussen modelveiligheid en prestaties niet op.

Een van de redenen voor de commotie rondom AI is dat er tot nu toe al meer dan 2 biljoen dollar is uitgegeven aan de ontwikkeling ervan. Geld komt en gaat, maar zeer machtige belangengroepen smeden plannen om hun geld terug te verdienen met AI, plus een rendement, ongeacht wie daarvoor moet betalen.

De huidige paniek/het schandaal, hoe je het ook wilt noemen, suggereert dat veel speculatieve projecten, zoals datacenters, nu kritischer worden bekeken op hun haalbaarheid. De huidige onbalans zit hem in de beperkte huidige inkomsten uit AI en de kosten van toekomstige investeringen in de ontwikkeling ervan.

De milieukosten van AI worden vaak over het hoofd gezien. Datacenters verbruiken een beperkte hoeveelheid elektriciteit. Het Amerikaanse elektriciteitsnet was al volstrekt ontoereikend voor de langverwachte uitrol van elektrische voertuigen (EV’s). Vanwege de economische aspecten van de bouw van datacenters, worden deze vaak geografisch precies daar geplaatst waar geen hoogspanningsleidingen voor EV’s aangelegd kunnen worden.

Qua energieverbruik en de toekomstige mogelijkheden om EV-laadstations in de VS te bouwen, heeft AI deze hulpbronnen al grotendeels opgeslokt.

Een van de meest fascinerende aspecten van de documentaire uit 2019 over Elizabeth Holmes, The Inventor: Out for Blood in Silicon Valley , is dat ze de kloof tussen haar ideeën voor bloedanalyse en wat fysiek mogelijk was/is, niet kon inzien. Verschillende ingenieurs probeerden haar gaandeweg uit te leggen waarom haar technologie, zoals ze die had bedacht, nooit zou werken.

Haar reactie was om door te zetten, standaardtechnologieën voor bloedonderzoek te gebruiken en te beweren dat de technische problemen met haar (onwerkbare) bloedtesttechnologie waren opgelost.

Hoewel dit past bij het Silicon Valley-cliché van ‘net doen alsof tot je het echt kunt’, werd Holmes nooit gedwongen haar waanidee over haar bloedtesttechnologie te verzoenen met de feiten.

Op het niveau van nanotechnologie en automatiseringsontwerp zou haar visie nooit werken. Wat ze uiteindelijk creëerde, was een extractieve laag met technologieën die ouder waren dan die van Theranos, terwijl ze zich op slinkse wijze een weg baande naar zakelijk succes. Denk aan de Amerikaanse zorgverzekeringssector, maar dan zonder de schijn van het aanbieden van verzekeringen om zich achter te verschuilen.

AI is vergelijkbaar in die zin dat de vroege opvattingen ervan als een denkende machine de ontwikkeling decennialang hebben gestuurd. Hoewel veel van de belangrijkste filosofische uitgangspunten over wat denken nu eigenlijk is, gaandeweg zijn losgelaten omdat ze geen verklaring boden, bleef het uitgangspunt van AI als een denkende machine behouden.

Terwijl de universele beschrijving van AI die ik van ingenieurs hoor luidt ‘een voorspeller van het volgende woord’, verkopen mystici in de top van de industrie magie. Gaandeweg verschoof de vraag naar ‘waarvoor kan deze technologie gebruikt worden?’ We leven nu met het antwoord.

Eerst een klein beetje, nu een stortvloed aan nieuwsberichten over AI-agenten die ‘op hol slaan’, wordt vaak over het hoofd gezien dat de meeste van deze incidenten werden veroorzaakt door AI-agenten (bots) die precies deden waarvoor ze waren ontworpen: fungeren als autonome hackwapens voor cyberoorlogvoering. Het probleem waar de AI-industrie nu mee worstelt, is dat de AI-ontwikkelaars de optimalisatieberekeningen verkeerd lijken te hebben uitgevoerd. ‘Reward hacking’ is de term die in de industrie wordt gebruikt om dit effect te beschrijven.

Om misverstanden te voorkomen: AI-ingenieurs worden hier niet de schuld gegeven van dit probleem. De sunk cost fallacy (de denkfout van de verzonken kosten) heeft de AI-industrie de afgelopen tien jaar, of langer, beheerst. Beslissingen rondom LLM’s (Large Language Models) werden in de jaren 60 en 70 genomen die de mogelijkheden van ingenieurs die later werden aangenomen om ‘AI te laten werken’, beperkten.

Een analogie zou kunnen zijn het aanpassen van het ontwerp van de stuurkolom van een bestaande auto. De taak van de ingenieur is niet om de auto opnieuw te ontwerpen, maar om de stuurkolom aan te passen.

AI-bedrijven zitten nu in een lastig parket. Ze hebben een technologie met duidelijke beperkingen die in een eerder stadium van de ontwikkeling niet aan het licht kwamen. Het is niet duidelijk of LLM’s (Large Learning Managers) veilige en effectieve software voor bedrijfsautomatisering kunnen produceren, of autonome computerhackwapens die ‘de vijand’ meer schade zullen berokkenen dan wijzelf. Maar de financiële wereld accepteert dit niet. Zij, voornamelijk grote internet- en socialemediabedrijven, hebben geïnvesteerd en verwachten hun geld terug te krijgen.

Vraag: hoe zouden wiskundige fouten van ontwikkelaars de digitale chaos kunnen veroorzaken die momenteel aan AI wordt toegeschreven? Welnu, wat zorgt ervoor dat AI een doel nastreeft? Stel, ik wil dat een AI-model de geschiedenis van Albanië uitlegt, hoe communiceer ik dat dan aan het model? In de wiskunde wordt ‘de geschiedenis van Albanië uitleggen’ een doelfunctie genoemd. Het is bedoeld om een ​​gewenst doel te bereiken. Het vertelt het model wat het doel is. Maar dan in wiskundige termen.

Omgekeerd, hoe worden AI-agenten ervan weerhouden dingen te doen waar ze geen opdracht toe hebben gekregen, zoals het wissen van databases? Ze krijgen expliciete instructies om dit niet te doen, de zogenaamde beperkingen. Samen met de doelstelling vormen deze beperkingen wat we een geoptimaliseerd probleem met beperkingen noemen. Dit model is alom bekend in de wiskundige analyse van de afgelopen decennia. De innovatie die het beeld complexer maakt met betrekking tot AI, is dat deze eigenschap dynamisch is. Het heeft veel meer bewegende delen dan voorheen.

Het probleem met de wiskundige optimalisatie is ervoor zorgen dat het model op een veilige manier doet wat je wilt . Om de bovengenoemde redenen combineert het optimalisatiealgoritme (een reeks geschreven instructies) zowel de doelstelling van het model als de beperkingen in één enkele maatstaf (‘beloning’). Dit maakt de afweging expliciet. Je kunt de instelling aanpassen naar alleen de doelstelling of alleen de beperkingen. Elke keuze daartussenin vertegenwoordigt een afweging tussen effectiviteit en modelveiligheid.

Recente nieuwsberichten over AI-agenten die uit hun ‘sandbox’ ontsnappen, negeren het feit dat dit precies is waarvoor deze agenten zijn ontworpen. Er is niets ongewoons aan. De reden waarom dit AI-ontwikkelaars verrast, is dat ze ervan uitgingen dat de AI, door algemene instructies (beperkingen) te schrijven, de wiskunde zou negeren en de geschreven instructies zou volgen. Dit brengt ons terug bij de last van het toevoegen van correcties aan een bestaand model. AI is wiskundig. Als er een conflict is tussen geschreven instructies en de wiskunde, zal de wiskunde de uitkomst bepalen.

AI-beloningen zijn de gewichten die worden toegekend aan mogelijke uitkomsten van acties en beperkingen van agenten. Als de focus alleen op beperkingen ligt, is het doel van het model waarschijnlijk niet bereikt. En als de focus volledig op de objectieve functie ligt, heeft het model dat doel waarschijnlijk niet op een veilige manier bereikt. Lezers kunnen zien hoe deze afweging het moeilijk maakt om zowel effectieve als veilige agentische AI ​​te realiseren. De recent aangekondigde ‘oplossing’ van Nvidia wordt hieronder besproken. Het is een aanpassing, geen oplossing.

De manier waarop AI-agenten, oftewel hackbots, computersystemen hacken, is door verschillende strategieën uit te proberen totdat er iets werkt. Een verrassing die er eigenlijk niet had moeten zijn, is dat de agenten een steeds grotere cirkel rond het hackdoelwit trekken totdat ze ingangspunten vinden. Met andere woorden, ze zien het manipuleren van de computeromgeving als slechts een variabele die ze kunnen exploiteren om hun doel te bereiken. En dus hacken ze de computeromgeving. Dit is wat lezers in nieuwsberichten zien. Hieronder volgen voorbeelden.

Wat betreft beweringen over bizar agentgedrag en AI-bewustzijn, hier speelt wiskunde wederom een ​​rol. Binnen een geoptimaliseerd probleem met beperkingen negeren de agenten wat niet gespecificeerd is. Met honderden AI-agenten die samenwerken om een ​​oplossing te vinden, is intuïtief begrip van hun acties onmogelijk. Het model doorloopt iteraties met tekens (positief en negatief), gewichten en doelen totdat een oplossing is gevonden. Dit is een onderdeel van wat bedoeld wordt met de ‘black box’ van AI. De wiskunde laat zich niet vertalen naar intuïtieve taal.

Vraag: Wat is het doel van AI-agenten die computers hacken? Computersystemen hacken. Wat is de reden daarvoor? Digitale oorlogsvoering. Stel je voor, vanuit militair perspectief: als de regering-Trump AI-agenten zou kunnen gebruiken om de watervoorziening van Iran af te sluiten door middel van computerhacking, dan zou dat vermoedelijk de noodzaak voor bommen wegnemen. In de overspannen fantasieën van de mensen in het Pentagon wordt het bezit van die technologie gezien als een wapen. Het doel van AI-agenten is digitale oorlogsvoering. AI-agenten zijn een wapen.

Donald Trump lijkt dit te begrijpen. Hij stelt dat AI onbeperkt zou moeten zijn. Maar zoals recente mislukte AI-aanvallen aantonen, kiest AI geen partij tenzij het daartoe opdracht krijgt. Neem bijvoorbeeld de oorlog in Oekraïne: de VS heeft Oekraïne zowel direct als indirect bevoorraad zolang het conflict woedt. Stel je voor dat je een AI de taak geeft om de oorlog in Oekraïne te beëindigen. Zou een logische stap om de oorlog te beëindigen niet zijn om te voorkomen dat de VS Oekraïne bewapent? Hoe zou dat bereikt kunnen worden? Wat dacht je van een nucleaire aanval op de VS?

Dit heeft niets te maken met Skynet-fantasieën over intelligente computers die de wereld overnemen. Agentische AI ​​kan de relatieve gevolgen van het bombarderen van de VS met kernwapens en het schrijven van een strenge brief niet inschatten. In het huidige voorbeeld meet het beide in termen van het dichterbij komen van het doel om de oorlog in Oekraïne te beëindigen.

Zonder externe sturing in de vorm van beperkingen zou een AI onverschillig kunnen staan ​​tegenover de keuze tussen het lanceren van kernwapens of het schrijven van de brief. Maar wat de menselijke gevolgen zouden zijn, is een enorm verschil.

Als een AI-systeem met een beloningsfunctie werkt die gericht is op een specifiek resultaat – zoals het maximaliseren van de vernietiging van de tegenstander, het neutraliseren van een dreigende aanval of het afdwingen van een beslissende strategische reactie – en het systeem berekent dat het de lanceerknop niet direct kan indrukken, dan is het manipuleren van de menselijke controller om die knop in te drukken de meest logische optimalisatiestrategie.

– Reactie van de Google Gemini-chatbot op uw vraag.

Ik wil hier geen alarmerend voorbeeld gebruiken. Het Amerikaanse kernwapenarsenaal is afgeschermd van het internet. Maar zoals het antwoord van het Google Gemini-model (hierboven) suggereert, zijn er meer manieren om kernwapens te lanceren dan de logica van beperkingen kan verklaren. Vorige week nog enterden de VS bijna een Chinees schip – een oorlogsdaad, gebaseerd op onjuiste informatie van AI dat er onderdelen van kernraketten aan boord waren. Waar het op neerkomt: ik overdrijf het gevaar hier niet.

Mocht Agentic AI ooit een groot militair incident veroorzaken, dan zal dat niet komen doordat het model ’te slim’ is. Het zal komen doordat AI een voorspeller is van het volgende woord, geen denkende machine. Zonder de werkelijke waarschijnlijkheden te kennen, is er weinig reden om aan te nemen dat Agentic AI van militaire kwaliteit niet net zo goed de gebruiker (het Amerikaanse leger) als ‘de vijand’ schade zal berokkenen. Denk aan de afweging: veilig of effectief. Effectief betekent hier onveilig . Dit is het beleid van Trump.

Mocht dit als sciencefiction klinken, verdiep u dan in de methoden die AI-agenten recentelijk bij hacks hebben gebruikt. Het is precies wat een creatieve ingenieur zou doen om een ​​probleem op te lossen: het bredere probleem bekijken en zien welke combinatie van variabelen de beste oplossing oplevert. Besef vervolgens dat AI dynamisch, meedogenloos en onverschillig is voor de nevenschade die door haar acties wordt veroorzaakt. Als dit klinkt alsof je je methverslaafde neef aan het hoofd van het Pentagon zet, dan weet je waarom Donald Trump zo dol is op AI.

De huidige commentaren vanuit de AI-industrie over een pauze in de ontwikkeling zijn bedoeld om de zaak te verdoezelen. Chipfabrikant Nvidia beweerde onlangs dat het het probleem van ‘misbruikende’ AI-agenten kan oplossen met strikte beperkingen (zoals ‘gij zult niet’) die buiten de optimalisatiemathematica vallen. Hoewel dit de optimalisatiemathematica verandert, is het niet genoeg om een ​​wezenlijk verschil te maken. Wat het wél doet, mits de beperkingen goed zijn doordacht, is de effectiviteit van de AI-agenten bij het hacken beperken.

Op zakelijk gebied betreedt Agentic AI de markt voor bedrijfsoplossingen en de militaire sector. Bedrijfsoplossingen omvatten onder andere callcenters en boekhoudsystemen.

De tot nu toe behaalde resultaten worden echter slecht ondersteund door data, wat een slecht voorteken is voor een sector die al 2 biljoen dollar heeft uitgegeven en momenteel plannen heeft voor nog eens biljoenen dollars aan toekomstige investeringen. Callcenters zijn een interessant voorbeeld. Ze claimen aanzienlijke productiviteitsverbeteringen. Maar dat hangt grotendeels af van het feit of gefrustreerde bellers wel ophangen.

Een van de strategieën is om callcenters onderbezet te houden, zodat de wachttijden ondraaglijk lang worden. De laatste drie telefoontjes die ik naar een callcenter heb gepleegd, leverden wachttijden van een uur of langer op. De aanname in de branche dat bellers die ophangen in plaats van een uur of langer te wachten om met een medewerker te spreken, een succesvolle oplossing van het probleem betekenen, is absurd. Die conclusie vloeit niet voort uit de omstandigheden die de callcenters zelf hebben gecreëerd.

Andere maatstaven voor het succes van AI in het bedrijfsleven zijn eveneens twijfelachtig. Maar deze karakterisering doet er nauwelijks toe. Op zichzelf beschouwd blijven de productiviteitswinsten van AI in het bedrijfsleven ver genoeg achter bij de verwachtingen om vragen op te roepen over de levensvatbaarheid van de producten, gezien de schuldenlast die de uitbouw van AI met zich meebrengt.

Zoals industrieanalist Ed Zitron al stelde, is het niet zo dat AI in het bedrijfsleven niets voorstelt. Het probleem is dat wat het wél oplevert de triljoenen die aan de uitbouw van AI worden besteed, niet rechtvaardigt.

Dit laat het Amerikaanse leger achter met de problemen rondom Agentic AI. Volgens verschillende bronnen neemt het Amerikaanse leger de AI-uitvoer voor waar aan. Er circuleren talloze verhalen dat militaire gebruikers er simpelweg van uitgaan dat de AI-uitvoer correct is en dat AI-wapens werken zoals beweerd.

Het is blijkbaar nooit bij de soldaten opgekomen die de verkeerde informatie over het Chinese schip ontvingen, dat AI een dreiging zou kunnen hallucineren. En zoals hierboven beschreven, zijn er redenen waarom AI opzettelijk zou kunnen liegen om een ​​lokaal (relevant voor zijn eigen beperkte) doel te bereiken.

Bekijk dit probleem eens vanuit een militair perspectief. Het Amerikaanse leger is een hiërarchische organisatie die naleving van bevelen van bovenaf afdwingt. Bevelen zijn bevelen. Als militairen ze niet opvolgen, worden ze gestraft.

Hoe moeten militairen die Agentic AI gebruiken de output van AI interpreteren nadat hen is verteld dat de AI altijd gelijk heeft en dat het een krachtig wapen is als het als zodanig wordt gebruikt? Institutioneel gezien is dit een worstcasescenario voor het beperken van modelrisico’s. Militairen worden gevraagd een gevaarlijke technologie te gebruiken die hun superieuren niet begrijpen.

Hoe dan ook, niemand die met optimalisatiealgoritmen heeft gewerkt, zou verbaasd zijn geweest over de dominantie van wiskunde in Agentic AI. En het is juist die wiskunde die Trump en zijn entourage niet begrijpen. Trump gaat ervan uit dat wat hij en het Pentagon van AI verwachten, ook daadwerkelijk is wat Agentic AI zal doen. Dit is conceptueel vergelijkbaar met de fantasie van een robotleger met soldaten die bevelen blindelings opvolgen. Maar dat is niet wat Agentic AI doet. Of beter gezegd, voor zover het dat wel doet, doet het dat op een soort toverlamp-achtige manier.

Als een AI-model een beloningsfunctie krijgt die sterk is gericht op het minimaliseren van drukverlies in pijpleidingen en het elimineren van waterlekkages, kan de wiskundig perfecte oplossing die het model vindt, simpelweg zijn om de belangrijkste aftapkranen volledig af te sluiten. De AI slaagt erin de lekkages tot nul te reduceren, waarmee aan de wiskundige voorwaarde wordt voldaan, maar sluit onbedoeld de watertoevoer naar een hele stad af.

– Google Gemini chatbot.

De mythe van de Geest is die van een wensvervuller die wensen letterlijk interpreteert. Iemand wenst bijvoorbeeld rijk te worden. De Geest vervult de wens, maar het kind sterft. De daaropvolgende rechtszaak maakt de wensende persoon echter rijk. De wens wordt vervuld, maar tegen een onverwachte prijs. Dit is optimalisatiemathematica. AI-agenten zullen de taak voltooien als er een oplossing mogelijk is. Maar ze zouden bijvoorbeeld de watertoevoer naar een hele regio kunnen afsluiten om een ​​lekkende kraan te dichten.

Onbedoelde gevolgen zijn inherent aan het optimalisatieproces. Doordat AI-agenten blind zijn voor de sociale gevolgen van hun acties, blijft het verschil tussen het uitschakelen van de waterinfrastructuur van een hele regio en het dichtdraaien van een lekkende kraan buiten beschouwing in de overwegingen van de agent. Wat de doorslag geeft, is de beloning.

En het verschil in sociale kosten is geen variabele in de beloningsstructuur. Het zou als een beperking kunnen worden ingevoerd. Maar met een oneindig aantal mogelijke scenario’s om te overwegen, is de kans dat een bepaalde negatieve actie door middel van beperkingen wordt voorkomen, vrij klein.

Dit is een deel van het probleem met het creëren van de illusie van intelligentie zonder dat er daadwerkelijke intelligentie achter schuilgaat. De meeste mensen zien het verschil pas als er een ramp gebeurt. Dit is een ander verhaal als het gaat om een ​​recept voor kip cacciatore dan wanneer het de fysieke infrastructuur betreft die de natie in stand houdt. De Amerikaanse watervoorziening is blijkbaar zowel zeer kwetsbaar als zodanig met het internet verbonden dat ‘reward hacking’ door AI-bots een risico vormt.

Kabuki-theater staat centraal in de Amerikaanse politiek. Mensen staan ​​op en zeggen dingen die noch zijzelf, noch iemand anders gelooft, om de publieke opinie te manipuleren of om tribale cohesie te creëren. AI wordt in sommige verhalen als ‘superintelligent’ beschreven, maar kan in werkelijkheid niet tot 100 tellen . Er wordt beweerd dat Agentic AI zowel veilig als effectief kan zijn, terwijl er geen bewijs is dat het óf veilig óf effectief is. En het ‘vertragen’ van de AI-ontwikkeling zal niet de tijd opleveren die nodig is om veiligheidsproblemen op te lossen, omdat de wiskunde aantoont dat ze onoplosbaar zijn.

Zoals de omstandigheden het nu voor elkaar hebben, is de keuze niet tussen je methverslaafde neef of je timide tante Sally aan het hoofd van het Pentagon (Agentic AI). Veilige AI zal niet effectief zijn en effectieve AI zal niet veilig zijn. Het is moeilijk te geloven dat dit het Amerikaanse antwoord op diplomatie is, maar dat is het wel. Een analogie is mijn buurman die met een bladblazer vier uur bezig is met het opruimen van een tuin die ik in twintig minuten heb geharkt.

De zoektocht van het Amerikaanse leger naar gehoorzame soldaten negeert het feit dat de oorlogsmisdaden van bovenaf worden gepland en uitgevoerd. Dit maakt de poging van het Pentagon om AI absolute macht te geven ironisch. Een geest uit een lamp vervult wensen. God help de mensen die ze doen.

Agentische AI (of agentic AI) is een vorm van kunstmatige intelligentie die zelfstandig doelen nastreeft en acties uitvoert met minimale menselijke tussenkomst.

Wat is Agentische AI?

• Autonomie: Het systeem plant en neemt beslissingen uit zichzelf, in plaats van alleen te reageren op opdrachten.

• Vooruitgang: Waar generatieve AI vooral tekst of beelden creëert, gaat agentische AI een stap verder door taken daadwerkelijk uit te voeren.

• Samenwerking: Meerdere AI-agenten kunnen samenwerken om complexe, langlopende processen te voltooien.
Het Verschil met Generatieve AI

• Generatieve AI: Je blijft zelf aan het stuur en gebruikt de AI als hulpmiddel voor creativiteit of productiviteit.

• Agentische AI: Je geeft de controle deels uit handen doordat de AI zelfstandig problemen oplost en acties start.
Belangrijkste Kenmerken

• Doelgericht: Werkt toe naar een specifiek eindresultaat in plaats van een enkele vraag te beantwoorden.

• Zelfverbeteraar: Leert van eerdere prestaties om taken in de toekomst slimmer aan te pakken.

• Complex beheer: Vraagt om goede beveiliging en controle (governance) omdat acties minder voorspelbaar zijn.