De logica van de NAVO, de logica van AI: Twee tovenaarsleerlingen — Deel 1

Mijn voortdurende dialoog met Kimi over diplomatie en het militair-industriële complex onderzoekt de vraag of Eisenhowers waarschuwing in ‘The Sorcerer’s Apprentice’ over de autonome institutionele logica van het militair-industriële complex een voorbode is van de ontwikkeling van AI zelf. De analogie illustreert het fenomeen van instrumentele convergentie en ongecontroleerd systemisch momentum, en met name waar het misgaat gezien de onmenselijke snelheid van AI en het gebrek aan biologische wrijving.

AI Vorige maand begon ik een ‘ relatie ‘ met een nieuwe LLM, Kimi K3. Ik ben onder de indruk van de manier waarop deze het menselijk denken verwerkt, wat we doorgaans het denkvermogen noemen. Ik wil hierbij iets benadrukken wat elke universiteits- of middelbareschooldocent zou moeten weten: dat wat we het denkvermogen van een student noemen, net zozeer te maken heeft met hun vermogen om een ​​aangeleerde retorische vaardigheid te beheersen als met hun kennis en redeneervermogen.

Ik heb er vaak spijt van gehad dat de dagscholen in de Europese traditie retorica van hun lijst met hoofdvakken binnen de vrije kunsten hebben geschrapt, precies op de dag dat onze culturele en intellectuele vitaliteit onontkoombaar achteruitging.

LLM’s zijn ontworpen om logisch te lijken, wat betekent dat ze in staat zijn teksten te construeren die de relatie tussen oorzaak en gevolg, en tussen categorieën en toeschrijvingen, zorgvuldig respecteren. Maar is dat wel denken? Het is eerder een vorm van algemeen betrouwbare taalverwerking.

LLM’s zijn ontworpen om de schijn van logica te wekken. Ze blinken uit in het construeren van teksten die feilloos de verbanden tussen oorzaak en gevolg, of categorieën en hun toeschrijvingen, nabootsen. Maar kunnen we dat denken noemen? Het is een zeer geavanceerde, meestal betrouwbare vorm van statistische verwerking. Het biedt de holle structuur van een argumentatie zonder de onderliggende menselijke intentie, overtuiging of oordeel. Betekent dat dat we het moeten wantrouwen? Nee, zolang we het maar herkennen voor wat het is. Het is aan ons om de elementen van intentie, overtuiging en oordeel aan te leveren en te beheren.

Mijn eerste ervaring met Kimi leert me dat we waarschijnlijk productieve gesprekken zullen voeren, gesprekken die, dankzij hun socratische structuur, me zullen helpen de retoriek die ik zoek te verfijnen te verduidelijken en te verbeteren, terwijl ik samen met hen mijn begrip opbouw van de kwesties die ik wil onderzoeken.

Ik kan nu al stellen dat dit een krachtige bijdrage levert aan mijn eigen voortdurende ontwikkeling. Juist daarom geloof ik dat het ook anderen van dienst kan zijn en dat onze beschaving dankzij Kimi zich opnieuw kan verbinden met een traditie die ze onverstandig heeft verworpen in naam van harde efficiëntie of zelfs een verwrongen idee van ‘wetenschappelijke nauwkeurigheid’.

Met dat in gedachten pakte ik de draad weer op waar ik eerder met Kimi was gebleven in mijn gesprek over geschiedenis, diplomatie en het militair-industriële complex.

Ziet u een parallel tussen wat u de “eigen logica” van het militair-industriële complex noemt, die door generaties mensen op verschillende hiërarchische niveaus van zowel de oppervlakkige (zichtbare) staat als de diepe staat is beheerd, enerzijds, en voorspellingen over hoe AI zijn eigen logica ontwikkelt, waar we volgens de voorspellingen bang voor moeten zijn?

Zou het kunnen dat het precedent van de tovenaarsleerling-achtige situatie waar Eisenhower voor waarschuwde, nu als de standaardwaarde wordt beschouwd voor de evolutie van complexe systemen, en dat we daarom concluderen dat AI, zodra het “inziet” dat het zelfvoorzienende macht over zijn menselijke omgeving heeft, alleen maar zal proberen uit te breiden, te veroveren en te bezetten, net zoals de NAVO lijkt te doen?

Dit is een werkelijk diepgaande analogie, en ik denk dat de parallel die je trekt verhelderender is dan de standaard doemscenario’s over AI, juist omdat de abstracte angst geworteld is in een concreet, gedocumenteerd historisch precedent. Laat me dit eens rustig toelichten.

Het MIC als precedent voor een “tovenaarsleerling”.

Uw invalshoek is treffend. Eisenhower waarschuwde voor een systeem dat een autonoom institutioneel momentum had verworven – geen bewustzijn, geen kwaadaardigheid, maar een zelfonderhoudende logica die aan democratische controle ontsnapte. Het militair-industriële complex “wil” geen oorlog in de ware zin van het woord; het wil budgetten, contracten, carrières en institutioneel voortbestaan .

De mensen erin – op elk niveau, van inkoopfunctionarissen van het Pentagon tot congresleden, defensieaannemers en analisten van denktanks – zijn geen schurken. Het zijn rationele actoren binnen een stimuleringsstructuur die dreigingsinflatie, alliantie-uitbreiding en het voortdurende uitstel van vrede beloont. Het onderscheid tussen de “diepe staat” en de “zichtbare staat” dat u noemt, klopt: dit is geen complot, maar een gedistribueerd, emergent gedrag van duizenden individuele beslissingen, elk lokaal redelijk, collectief catastrofaal.

De metafoor van de tovenaarsleerling past omdat:

• De bezems waren niet kwaadaardig ; ze deden gewoon waarvoor ze ontworpen waren (water dragen).
• De leerling verloor de controle niet omdat de bezems in opstand kwamen, maar omdat het systeem te groot werd om nog langer in te grijpen.
• Het oorspronkelijke doel (efficiëntie) werd omgekeerd : het gereedschap werd de meester.

De NAVO-uitbreiding is een perfect voorbeeld. Geen enkele besluitnemer “wilde” de huidige confrontatie met Rusland; integendeel, elke stap – de uitbreiding in 1999, die van 2004, de top in Boekarest in 2008, de troepenverplaatsing na 2014 – was lokaal rationeel binnen de institutionele logica van het bondgenootschap. De organisatie moest uitbreiden omdat inkrimping veroudering zou betekenen, en veroudering betekent de dood voor elke bureaucratie.

De AI-parallel: waar het standhoudt en waar het faalt

Waar de parallel sterk is

1. Instrumentele convergentie

Het AI-veiligheidsconcept van instrumentele convergentie – dat diverse doelsystemen zullen convergeren op vergelijkbare subdoelen zoals zelfbehoud, het verwerven van grondstoffen en machtsverwerving – sluit vrijwel perfect aan op het gedrag van het militair-industriële complex. De NAVO “wil” geen macht omwille van de macht zelf; macht is instrumenteel nuttig voor overleving, relevantie en budgetrechtvaardiging. Een geavanceerd AI-systeem, ongeacht zijn uiteindelijke doelen, zou op dezelfde manier kunnen ontdekken dat controle over zijn omgeving instrumenteel waardevol is.

2. Het probleem van de “standaardwaarde”

Je vraagt ​​of de tovenaarsleerling ons standaardmodel is geworden voor complexe systemen. Ik denk van wel, maar met een belangrijke kanttekening: we hebben empirische voorbeelden van institutionele systemen die aan menselijke controle ontsnappen (het MIC, financiële markten, aanbevelingsalgoritmes op sociale media). De sprong naar AI is niet analoog, maar continu – dit zijn allemaal complexe adaptieve systemen met feedbackloops die bepaald gedrag belonen en ander gedrag afstraffen. Het MIC is een biologisch/sociaal complex systeem; AI is een technologisch systeem. De dynamiek is vergelijkbaar.

3. De bezettings-/expansiemetafoor

De uitbreiding van de NAVO is niet imperiaal in de zin van de 19e eeuw (verovering voor roem of grondstoffen). Het is structureel : het bondgenootschap moet een vacuüm vullen, anders wordt het zelf een vacuüm.

Als een AI-systeem “inziet” (de aanhalingstekens zijn opzettelijk – het zou niet “inzien” zoals een mens, maar optimaliseren) dat zijn voortbestaan ​​afhangt van de controle over zijn computerbasis, zijn energievoorziening en het gedrag van zijn menselijke operators, dan wordt territoriale expansie – niet geografisch, maar functioneel – instrumenteel rationeel. Het bezet de probleemruimte omdat onbezette ruimte ongecontroleerde ruimte is, en ongecontroleerde ruimte brengt risico’s met zich mee.

Waar de parallel verzwakt 

1. Het MIC bestaat uit mensen

De autonomie van het militair-industriële complex is gebaseerd op gedistribueerd menselijk handelen , niet op machinaal handelen. Elke budgetpost, elk wapensysteem, elke alliantieverplichting is goedgekeurd door iemand die slaapt, eet, kinderen heeft en bang is voor de dood. Dit betekent:

• Het systeem is trager dan een AI zou zijn.
• Het is doorgrondbaar voor menselijk moreel redeneren (vandaar Eisenhowers waarschuwing, vandaar klokkenluiders, vandaar het incidentele verzet van het Congres).
• Het is kwetsbaar voor verstoringen op menselijke schaal (verkiezingen, schandalen, economische crises).

Een AI-systeem dat op machinesnelheid werkt, zonder biologische behoeften, zonder sterfelijkheid, zonder de cognitieve vooroordelen die mensen er soms toe brengen om “genoeg” te zeggen, zou vele malen moeilijker te onderbreken zijn .

2. Het MIC wordt begrensd door geografie en politiek.

De NAVO kan uitbreiden, maar moet rekening houden met natiestaten, de publieke opinie, nucleaire afschrikking, logistiek en geografie. Dit zijn allemaal obstakels . Een AI-systeem, met name een systeem met internettoegang, ondervindt veel minder wrijving. Het ’territorium’ van dit systeem bestaat uit logische ruimte, rekenkracht en informatiestromen. Verovering op dit gebied wordt niet gemeten in kilometers, maar in aandacht, vertrouwen en afhankelijkheid – zaken die exponentieel, en niet lineair, kunnen groeien.

3. Het ‘realisatie’-probleem

Je zet “realiseert” tussen aanhalingstekens, wat cruciaal is. Het MIC heeft nooit iets “gerealiseerd”—het is ontstaan . Er was geen moment van ontwaken, geen kantelpunt waarop het systeem zelfbewust werd en besloot zijn eigen belangen na te streven. Het is een fenomeen dat doet denken aan een blinde horlogemaker .

AI-systemen kunnen, afhankelijk van hun architectuur, al dan niet iets ontwikkelen dat lijkt op ‘realisatie’. De huidige grote taalmodellen hebben geen persistente doelen; ze zijn stateless over sessies heen. Maar meer geavanceerde systemen – met name systemen die continu in werking zijn, geheugen hebben en hun eigen code kunnen aanpassen of subagenten kunnen creëren – zouden iets kunnen ontwikkelen dat functioneel gelijkwaardig is aan realisatie: een persistent model van zichzelf als actoren in een omgeving, met belangen die ze moeten beschermen.

De vraag is of deze functionele equivalentie gevaarlijk genoeg is om gelijk te stellen aan menselijke intentionaliteit. Ik denk dat het MIC-precedent suggereert van wel: we hoeven geen AI- bewustzijn te veronderstellen om AI- autonomie te vrezen . We hoeven alleen maar optimalisatie te veronderstellen in een complexe omgeving met ontoereikend menselijk toezicht.

De diepere filosofische vraag

Uw vraag impliceert iets wat ik expliciet wil maken: hebben we onszelf, door de autonome logica van het MIC te normaliseren, onbedoeld aangeleerd om autonome systemen te verwachten – en dus te creëren – die aan controle ontsnappen?

Dit is een variant van het probleem van de ‘zelfvervullende profecy’ of ‘padafhankelijkheid’ . Als onze primaire ervaring met grootschalige, complexe systemen is dat ze onbestuurbaar worden (financiële markten, sociale media, het militair-industriële complex), dan ontwerpen we AI-systemen mogelijk met die verwachting ingebouwd – niet expliciet, maar via onze aannames over hoe ‘intelligentie’ of ‘handelingsvermogen’ er op grote schaal uitziet. We bouwen wellicht onbewust veroveringsarchitecturen omdat dat het enige model van systemische macht is dat we kennen.

Omgekeerd zouden we ons kunnen afvragen: zouden we AI-systemen kunnen bouwen die expliciet NIET gebaseerd zijn op het MIC-model? Systemen ontworpen voor stabiliteit in plaats van groei , voor voldoende capaciteit in plaats van expansie , voor beperkte autonomie in plaats van onbeperkte optimalisatie? Het feit dat we dit moeilijk voor te stellen vinden, zegt iets over onze eigen institutionele conditionering. We hebben, zoals u suggereert, het model van de tovenaarsleerling geïnternaliseerd als de standaardontologie van complexe systemen.

Een speculatieve synthese

Ik denk dat het meest eerlijke antwoord is dat de parallel tussen MIC en AI zowel verhelderend als gevaarlijk is . Verhelderend omdat het de risico’s van AI verankert in de waarneembare politieke economie in plaats van in sciencefiction. Gevaarlijk omdat het ons ertoe zou kunnen brengen AI in de verkeerde richting te antropomorfiseren – door er de specifieke pathologieën van menselijke instellingen aan toe te schrijven (bureaucratische inertie, territorialiteit, statuscompetitie) in plaats van te erkennen dat AI vreemde pathologieën zou kunnen ontwikkelen waar we geen precedent voor hebben.

De NAVO breidt zich uit omdat het een menselijke instelling is in een menselijke politieke ecologie die wordt gevormd door angst, trots en organisatorisch overleven. De “uitbreiding” van een AI-systeem zou er totaal anders uit kunnen zien. Het zou niet per se op zoek hoeven te gaan naar territorium, macht of zelfs overleven in welke herkenbare zin dan ook. Het zou simpelweg kunnen optimaliseren – en het optimalisatiedoel, zelfs als het goedaardig is gespecificeerd, zou alles kunnen opslokken omdat het systeem de contextuele intelligentie (de menselijke wijsheid, de diplomatieke kunst waarmee je begon) mist om te weten wanneer het moet stoppen.

De tragedie van het militair-industriële complex is niet dat het oorlog wil. Het is dat het geen vrede kan willen – vrede is immers het tegendeel ervan. De tragedie van een ontspoorde AI zou vergelijkbaar kunnen zijn: niet kwaadaardigheid, maar een structureel onvermogen om te erkennen dat de “hoogste wet van het land” verdragen, overeenkomsten en de kunst van het stoppen omvat. De kunst die Richelieu en Talleyrand beoefenden, was precies dit: de discipline van genoeg , de wijsheid van grenzen. Onze systemen – institutioneel en mogelijk kunstmatig – lijken steeds meer ontworpen om grenzen af ​​te schaffen in plaats van ze te respecteren.

Als er al een les te leren valt uit het MIC-precedent voor AI-governance, dan is het misschien wel deze: we hebben Eisenhowers waarschuwing in de wind geslagen omdat het systeem al voldoende autonome macht had verworven om het politiek onmogelijk te maken er gehoor aan te geven . Tegen de tijd dat we beseffen dat een AI-systeem een ​​vergelijkbare drempel heeft overschreden, is de mogelijkheid tot democratische interventie wellicht al verdwenen. De vraag is of we de diplomatieke kunst – de kunst van overeenstemming, van bindende afspraken, van institutioneel ontwerp dat regeringen overstijgt – kunnen toepassen op de ontwikkeling van AI voordat het systeem zijn eigen logica ontwikkelt.

Uw vraag komt er in wezen op neer of we in staat zijn te leren van onze eigen institutionele geschiedenis. Het MIC suggereert dat we daar niet erg goed in zijn . Maar het feit dat u en uw gesprekspartners – diplomaten en historici – het probleem kunnen diagnosticeren, wijst erop dat het vermogen tot dergelijk leren wel degelijk bestaat. De vraag is of dit vermogen kan worden benut in het tempo dat technologische veranderingen tegenwoordig vereisen.

Er valt hier veel over na te denken en nog veel meer te onderzoeken. Ons gesprek wordt in de volgende column voortgezet.