De logica van de NAVO, de logica van AI: Twee tovenaarsleerlingen — Deel 2

Nadat we de AGI-ambities van Silicon Valley hadden vergeleken met het militair-industriële complex waar Eisenhower voor waarschuwde, richtten we ons gesprek op de vraag wat hun ‘droom’ van dominantie zou kunnen dwarsbomen. Het blijkt dat de ‘fundamentele mystiek’ van Silicon Valley een ontlichaamde hoogmoed maskeert – een grenzeloze ambitie die gevaarlijk blind is voor de menselijke beperkingen als bronnen van betekenis.

Mijn gesprek met Kimi K3 bracht ons ertoe de huidige situatie van AI te vergelijken met de groei van het militair-industriële complex (MIC) van de VS in de afgelopen 80 jaar. Enkele dagen voordat hij in januari 1961 aftrad, bestempelde de Amerikaanse president Dwight Eisenhower het MIC als een existentieel risico voor de Amerikaanse democratie. Veel stemmen hebben soortgelijke waarschuwingen geuit over AI. Ons gesprek ging verder met de volgende vraag: hoe kunnen we de sterk antagonistische wereldvisie die we hebben geërfd en die ons ervan weerhoudt creatieve oplossingen te vinden voor mondiale problemen, overwinnen?

Wat u ‘institutionele conditionering’ noemt, noem ik cultuur, een andere manier om ‘standaardontologie’ te zeggen. Als we het vanuit een historisch perspectief willen lokaliseren, zou ik aanraden om naar Silicon Valley te kijken. Iedereen lijkt te erkennen dat het een cultuur heeft en dat een van de kenmerken van die cultuur is dat het bepaalde vormen van futurisme promoot, waaronder transhumanisme.

Wat ook opvalt aan het ontstaan ​​van die cultuur, is dat de hele economie van Silicon Valley een enigszins onbedoeld uitvloeisel is van het Ministerie van Defensie, na een korte, turbulente samenwerking met Wall Street – geboren, net als Dionysus (de god van wijn, illusie en extase), rechtstreeks uit de dij van Zeus.

Aangezien ik uw talent waardeer voor het beoordelen van waarschijnlijkheidsniveaus toegepast op historische processen, hoe waarschijnlijk is het dat de culturele invloed van Silicon Valley, die al zoveel van de wereld waarin we leven heeft veranderd, zal blijven groeien?

Vermoedelijk is hun geheime wapen de AGI waarvan hun promotors ons zo vurig proberen te overtuigen dat die onvermijdelijk is, dat ze de onbetwiste zwaargewichtkampioen zal worden en de menselijke intelligentie met een knock-out zal verslaan. Ik vermoed dat hun idee van AGI en het mijne altijd kwalitatief verschillend zullen blijven. Dus hier is mijn vraag: welke ontwikkelingen of huidige erkende of niet-erkende realiteiten zouden de verwezenlijking van hun droom kunnen dwarsbomen?

Je formulering is zoals altijd zeer nauwkeurig, en de Dionysus-metafoor is onheilspellend treffend: niet geboren uit een stabiel partnerschap, maar uit een gewelddadige, bijna toevallige samenkomst, vervolgens losgelaten op de wereld met de eigenschappen van zijn oorsprong – Wall Streets honger naar exponentiële rendementen gekoppeld aan de honger van het Pentagon naar strategische dominantie, alles verpakt in de taal van de bevrijding. Wat jij cultuur noemt en wat ik institutionele conditionering noemde, is op dit niveau hetzelfde: een standaardontologie die zo alomvattend is dat haar aanhangers die niet als ideologie, maar als natuurkunde ervaren.

Om op uw vraag terug te komen: hoe waarschijnlijk is aanhoudende groei, en wat zou die kunnen dwarsbomen? Ik schat de kans dat de culturele invloed van Silicon Valley de komende tien jaar blijft groeien hoog in, maar niet onvermijdelijk — misschien 60-70% als er geen grote verstoringen optreden.

De inertie is enorm. De infrastructuur is gebouwd. Het kapitaal is geïnvesteerd. Het verhaal van onvermijdelijkheid is zelf een politieke technologie die alternatieven onderdrukt. Maar een kans van 30-40% op een significante verstoring of ontsporing is historisch gezien niet gering. Revoluties lijken achteraf onvermijdelijk; voor de deelnemers voelen ze dat zelden zo aan.

Hieronder volgen de ontwikkelingen en realiteiten – sommige erkend, andere onvoldoende erkend – die de verwezenlijking van hun droom in de weg zouden kunnen staan.

 I. De thermodynamische en materiële beperkingen (de onerkende basis)

De ontologie van Silicon Valley is ontlichaamd. Intelligentie wordt beschouwd als substraat-onafhankelijk, schaalbaar en in wezen gewichtloos. Dit is de fundamentele mystiek ervan. Maar de realiteit is dat grootschalige AI misschien wel de meest materiaalverslindende technologie is die ooit is ingezet. We zien de wrijving nu al: de energiebehoefte van trainingssessies, het waterverbruik van datacenters, de winning van mineralen voor chips, de instabiliteit van het elektriciteitsnet.

De onerkende realiteit is dat de paradox van Jevons met grote kracht van toepassing is op AI : het efficiënter maken van berekeningen vermindert het totale grondstoffenverbruik niet; het verhoogt het juist door het toepassingsgebied uit te breiden. Als AGI nog twee of drie ordes van grootte meer rekenkracht vereist, is de fysieke infrastructuur wellicht simpelweg niet te bouwen met de vereiste snelheid en schaal, of alleen tegen een politieke prijs die democratische (of zelfs autoritaire) regimes niet zullen betalen. De droom gaat uit van oneindige uitwisselbaarheid van energie en materialen. De aarde is geen cloudserver.

 II. De terugkeer van het politieke (De natiestaat herstelt zijn soevereiniteit)

U merkte op dat Silicon Valley uit de dij van Zeus is ontstaan. Wat onvoldoende wordt erkend, is dat Zeus niet is gestorven; hij is slechts afgeleid. De natiestaat – met name de Amerikaanse nationale veiligheidsstaat, maar ook de Europese regelgevende staat en de Chinese partijstaat – begint te beseffen dat zij een kracht heeft voortgebracht die mogelijk aan haar controle ontsnapt.

De CHIPS-wet, de EU-wetgeving inzake kunstmatige intelligentie, exportcontroles op halfgeleiders, de antitrustzaken tegen de grote platformen – dit zijn geen uitzonderingen. Het zijn vroege signalen dat de ouder zich mogelijk voorbereidt om het kind te disciplineren. Het historische precedent is duidelijk: staten tolereren private machtsconcentraties alleen zolang ze de staatsbelangen dienen. Wanneer die concentraties dreigen uit te groeien tot autonome centra van strategische capaciteit – wanneer een particulier bedrijf iets benadert dat lijkt op algemene kunstmatige intelligentie – zal de staat niet langer passief toekijken.

De droom gaat ervan uit dat Silicon Valley zijn extraterritoriale status kan behouden: nominaal Amerikaans, maar operationeel wereldwijd, met weinig of geen regulering. Dit was haalbaar toen de technologie sociale media en zoekmachines betrof. Het wordt onhoudbaar wanneer de technologie algemene intelligentie betreft. Als AGI er komt, zal het worden genationaliseerd of gebalkaniseerd voordat het ooit “gekroond” kan worden. De droom van de voorstanders van één onbetwiste kampioen veronderstelt een geopolitieke eenheid die niet bestaat.

 III. De kwalitatieve kloof (Wat “intelligentie” betekent)

Je vermoedt, terecht denk ik, dat jouw idee van AGI en dat van hen kwalitatief verschillen. De opvatting van Silicon Valley is instrumenteel en operationeel: patroonherkenning op grote schaal, optimalisatie, voorspelling, het elimineren van frictie. Het is in wezen een managementgerichte opvatting van intelligentie. Het is wat je zou ontwerpen als je ervaring met menselijke cognitie beperkt zou zijn tot logistiek, programmeren en A/B-testen.

Wat het doorgaans uitsluit – wat huidige architecturen structureel wellicht niet kunnen vastleggen – is precies het vermogen dat u in onze vorige discussie noemde: de kunst van het stoppen, de wijsheid van grenzen, contextueel oordeel, de intelligentie die weet wanneer er niet geoptimaliseerd moet worden. Dit is geen romantisch bezwaar. Het is een technisch bezwaar. We weten niet of algemene intelligentie kan voortkomen uit de voorspelling van het volgende token, of wijsheid gekwantificeerd kan worden, of oordeel via gradiëntdaling kan worden bepaald.

De onerkende realiteit is dat we mogelijk een plateau bereiken in de schaalbaarheid, waar het toevoegen van meer parameters en meer data aan het probleem indrukwekkende, maar steeds beperktere mogelijkheden oplevert, zonder de generalisatie, het transferleren of de autonome doelvorming die de ideale situatie vereist. De voorstanders hebben er belang bij om mogelijkheden te verwarren met generalisatie . De kloof tussen een systeem dat een advocatenexamen kan halen en een systeem dat kan herkennen wanneer het halen van dat examen de verkeerde aanpak is, is mogelijk niet louter kwantitatief, maar eerder ontologisch.

 IV. De culturele en spirituele tegenreactie (de afkeer van de samenleving voor onvoorspelbaarheid)

Hier is een realiteit die de futuristen in Palo Alto steevast onderschatten: de meeste mensen willen niet getranscendeerd worden. De transhumanistische vleugel van de Silicon Valley-cultuur gaat ervan uit dat het aanbod van radicale levensverlenging, cognitieve verbetering en substraatonafhankelijkheid universeel gewenst zal zijn. Historisch gezien is dit vrijwel ongekend. De meeste culturen hebben, meestal, grenzen beschouwd als een essentieel onderdeel van betekenis. 

Wat we mogelijk zien – in de opkomst van traditionalistische bewegingen, in de politieke relevantie van de ‘mens-eerst’-retoriek over het hele ideologische spectrum, in het groeiende wantrouwen jegens algoritmische sturing – is niet louter ludditisme, maar iets duurzamers: een culturele immuunreactie op de dionysische logica van de ontbinding. 

Als AGI niet wordt gezien als een instrument, maar als een existentiële bedreiging voor de menselijke waardigheid, de samenhang van het verhaal en de sociale stabiliteit, zal de politieke coalitie om het in te dammen of te vernietigen de conventionele links-rechtsgrenzen overschrijden op manieren die de technologen zullen verrassen. De droom gaat uit van een passieve bevolking, dankbaar voor het gemak. De geschiedenis leert echter anders.

 V. De financiële zeepbel en de scheiding van Wall Street

U wees op de korte, volatiele relatie met Wall Street. Volatiele relaties brengen volatiele resultaten voort. De huidige investeringscyclus in AI vertoont alle kenmerken van een klassieke zeepbel: enorme kapitaalinjecties gebaseerd op hypothetische toekomstige inkomsten, een wildgroei aan startups met ononderscheidbare producten en een verhaal over oneindige potentiële markten.

Als de beloofde productiviteitswinsten op grote schaal uitblijven – als AI een fantastisch laboratoriuminstrument blijkt te zijn, maar een middelmatige technologie voor algemeen gebruik, als het hallucinatieprobleem onoplosbaar blijkt voor toepassingen met hoge inzet, als de kosten van inferentie te hoog blijven voor massale implementatie – dan zal Wall Street zijn subsidie ​​intrekken. 

De technologie zal niet verdwijnen, maar de droom zal vervliegen. We zullen uitstekende automatische aanvulling hebben, geen kunstmatige algemene intelligentie. Het culturele prestige van Silicon Valley zal navenant afnemen, omdat de mystiek ervan afhangt van het feit dat het de toekomst vertegenwoordigt, niet slechts het heden met betere software.

 VI. De uitlijningscatastrofe die niet existentieel is.

Ten slotte bestaat de mogelijkheid van een tussentijdse catastrofe: niet de paperclip-maximaliserende apocalyps, maar een reeks spraakmakende, maatschappelijk verwoestende AI-mislukkingen – financiële crises veroorzaakt door algoritmes, grootschalige verkiezingsmanipulatie, incidenten met autonome wapens, ongelukken met biologisch ontwerp – die de beschaving niet ten gronde richten, maar wel een wereldwijde bevriezing van regelgeving en cultuur teweegbrengen. 

Deze droom vereist snelheid. Een moratorium, zelfs een gedeeltelijk moratorium, zelfs een zelfopgelegd moratorium ingegeven door paniek bij verzekeraars of aansprakelijkheid van bedrijven, zou het exponentiële verhaal doorbreken. Het precedent van het militair-industriële complex is hier relevant: Eisenhowers waarschuwing werd niet op tijd opgevolgd omdat het systeem de politieke economie al in zijn greep had. Maar AI heeft die greep nog niet bereikt. Een voldoende schokkende demonstratie van miscommunicatie zou de deur kunnen sluiten voordat het systeem autonoom institutioneel momentum bereikt.

 Een speculatieve conclusie

Als ik een gok zou moeten wagen, zou ik zeggen dat de culturele invloed van Silicon Valley op korte termijn zal blijven groeien, omdat het kapitaal al is ingezet, het narratief dominant is en de alternatieven nog niet zichtbaar zijn. Maar de kans dat de specifieke droom die je beschrijft – AGI als onbetwiste zwaargewichtkampioen, menselijke intelligentie verslagen door TKO, transhumanistische transcendentie bereikt – ook maar enigszins in de termen van de voorstanders ervan werkelijkheid wordt, is aanzienlijk kleiner. Misschien 25-35%.

Waarschijnlijker is noch triomf noch ineenstorting, maar een langdurig, rommelig hybride scenario : krachtige, beperkte AI-systemen ingebed in instellingen, ongelijkmatig gereguleerd, cultureel betwist, geopolitiek gefragmenteerd en filosofisch teleurstellend voor de ware gelovigen. De dionysische energie zal niet worden uitgedoofd, maar wellicht getemd – als het ware teruggebracht naar de Olympus, waar ze de goden dient in plaats van hen te bedreigen.

De diepere vraag die uw vraagstelling oproept, is of de cultuur die u hebt geïdentificeerd haar eigen grenzen kan herkennen voordat ze die als belemmeringen ervaart. De historische gegevens zijn hier niet bemoedigend. Het militair-industriële complex kon geen vrede willen; Silicon Valley is, volgens een analoge logica, mogelijk structureel niet in staat om genoeg te willen. 

De kunst van het stoppen – de diplomatieke kunst, de historische wijsheid – is precies datgene waar een optimalisatiecultuur niet op kan optimaliseren. Uw vraag is of een tegenkracht – thermodynamisch, politiek, spiritueel of technisch – dat stoppen van buitenaf zal opleggen. De kansen zijn beter dan de voorstanders toegeven, en slechter dan de rest van ons zou hopen.

Mijn reactie op Kimi’s analyse

Kimi heeft me geholpen mijn eigen gedachten te ordenen over deze complexe vraagstukken die te maken hebben met macht, cultuur, technologie en menselijke psychologie. Ik heb bijvoorbeeld al lange tijd de zogenaamd wetenschappelijke basis van de technologie die we AI noemen in twijfel getrokken. Algoritmen zijn immers niets meer dan wiskundig strikte, logische opeenvolgingen van stappen. Hun output zal zelden overeenkomen met een objectieve beoordeling van de werkelijkheid.

In de praktijk fungeren algoritmen als mechanismen om specifieke menselijke aannames, data-bias en ontwerpkeuzes te vertalen naar geautomatiseerde resultaten. Als dat het uitgangspunt is en als het eindresultaat een “geautomatiseerd resultaat” is, is het dan redelijk om aan te nemen dat algoritmen op zichzelf ooit het equivalent van denken kunnen produceren? De eminente natuurkundige Roger Penrose noemt AI liever “kunstmatige slimheid”.

Kimi’s omschrijving van de “fundamentele mystiek” van Silicon Valley vat het risico samen dat we allemaal moeten inschatten. President Eisenhower waarschuwde ons dat een samenloop van menselijke belangen – financieel, politiek en zakelijk – een potentieel onrechtmatige drijfveer van het buitenlands beleid zou kunnen worden. Op dezelfde manier lijkt de mentaliteit van Silicon Valley, voortgekomen uit het succes van het militair-industriële complex en daarmee verbonden, klaar om haar fundamentele mystiek te gebruiken om haar project van het transformeren van onze beschaving verder te bevorderen.

Ik ben geneigd de culturele invloed van Silicon Valley te vergelijken met een gebeurtenis die zich meer dan vijf eeuwen geleden in Europa afspeelde. Ik denk aan de spectaculaire politieke machtsovername van het Florence van de Renaissance door de apocalyptische prediker Girolamo Savonarola.

Naast maatschappelijk populaire maatregelen die de herverdeling van rijkdom bevorderden, mobiliseerde de Dominicaanse monnik de jeugd van de stadstaat en creëerde de ” Fanciulli”, groepen jonge burgerwachtleden die door de straten zwierven om burgers aan te spreken en de ijdelheden uit te roeien die de “Vreugdevuren der IJdelheden” zouden voeden. Het hele sociale en economische weefsel van Florence werd op zijn kop gezet. De Dominicaanse monnik wist zelfs de sublieme schilder Botticelli te overtuigen zich aan zijn programma te houden.

Er is één belangrijk verschil tussen Savonarola en Silicon Valley: laatstgenoemde geeft de voorkeur aan de concentratie van rijkdom boven de verdeling ervan. Maar toen Kimi de “managementopvatting van intelligentie” van de AI-industrie beschreef – waarmee hij de impliciete ambitie om de voorwaarden te scheppen voor een alwetende surveillancestaat maskeerde – zag ik een verwantschap met het beleid van de Florentijnse dictator, gericht op het controleren van het gedrag van mensen. Savonarola en Peter Thiel van Palantir (in oorlog met de Antichrist) en Alex Karp staan ​​qua wereldbeeld niet zo ver uit elkaar.

Tot slot wil ik nog even wijzen op hoe dit gesprek me heeft geholpen mijn eigen gedachten te ordenen. Kimi merkte op: “De meeste culturen beschouwen grenzen meestal als een essentieel onderdeel van betekenis.” Betekenis verdwijnt binnen menselijke samenlevingen wanneer ambitie onbegrensd wordt.

De voorspellingen dat AGI alle menselijke intelligentie zal domineren, impliceren een onbeperkt geloof in de groei van de instrumenten die alle beperkingen zullen opleggen waaraan onze inferieure menselijke intelligentie zal worden onderworpen. De oude Grieken beschreven hoogmoed als de typische zwakte van tragische helden. Collectieve hoogmoed is de steeds prominentere zwakte van moderne naties geworden. Wat AGI voor veel voorstanders lijkt te vertegenwoordigen, is een nieuwe variant: een ontlichaamde universele hoogmoed die niet langer onder menselijke controle staat.