Onder het mom van een AI-doomsdayscenario schrijft Big Tech zijn eigen regels.

AI Silicon Valley beweert dat hun machines de mensheid kunnen vernietigen.

Het meest directe gevaar is dat de mensen die AI ontwikkelen zelf bepalen hoe ze geregeerd worden.

Noot van de redactie: Sinds Matt Stoller dit essay afgelopen vrijdag voor het eerst publiceerde op zijn Substack-pagina, te midden van de groeiende AI-crisis , heeft Anthropic-CEO Dario Amodei opgeroepen de ontwikkeling van krachtige AI-modellen te vertragen, terwijl OpenAI-CEO Sam Altman heeft gezegd dat een beursgang van OpenAI op dit moment “onverstandig” zou zijn.

Maar Stollers kernpunt blijft onveranderd: de bedrijven die deze systemen bouwen, willen nog steeds de regels bepalen. De echte AI-crisis ligt niet in de technologie zelf, maar in ons onvermogen om de machtige mensen die eraan bouwen en er winst mee maken, te reguleren.

Er gebeurt iets heel vreemds in ons politiek-economische discours.

De afgelopen maand hebben de topmanagers van de grootste AI-bedrijven een langzame paniek rondom AI gecreëerd, die is uitgegroeid tot een discussie waarin ze beweren dat deze bedrijven op het punt staan ​​een technologie te ontwikkelen die een reële kans heeft om de menselijke beschaving te vernietigen.

Een paar dagen geleden nam Jacob Coxon, een 27-jarige AI-onderzoeker bij Anthropic, ontslag en plaatste een reeks berichten op X, waarin hij betoogde dat deze bedrijven superintelligente systemen bouwen die de wereld zouden kunnen verwoesten. Coxons opmerkingen haalden de voorpagina van de Wall Street Journal , werden meer dan 110 miljoen keer bekeken en leidden tot veel reacties van politici, CEO’s, AI-experts en journalisten.    

Vervolgens mengde Evan Hubinger, een andere twintiger die bij Anthropic werkt, zich in de discussie en zei dat de meeste medewerkers van Anthropic het met Coxon eens waren en “serieus geloven dat AI alle mensen zou kunnen uitroeien”, waarbij ze de kans op 10 procent binnen het volgende decennium schatten. Dit zijn buitengewone beweringen, en de mensen die ze doen worden “AI-doemdenkers” genoemd, of soms de “AI-veiligheidsbeweging”.

Deze groep omvat in brede zin het netwerk dat ooit de in opspraak geraakte cryptomiljardair Sam Bankman-Fried omringde, een quasi-religieuze orde die bekendstaat als effectieve altruïsten, die geloven dat een groep hyperrationele elites de mensheid kan leiden. Ondanks hun eigenaardigheden verbeteren de mogelijkheden van deze technologie, en hebben zich recentelijk enkele gevaarlijke gebeurtenissen voorgedaan. 

I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.

— Jacob Coxon (@hilbertspaess) September 9, 2026

Tegelijkertijd zal Anthropic, een belangrijk “grensverleggend laboratorium” voor kunstmatige intelligentie, naar verwachting binnen zes weken naar de beurs gaan met een beursintroductie die het bedrijf waardeert op vele biljoenen dollars.

Deze stap zal onmiddellijk een groot aantal AI-doemdenkers tot miljardairs en miljonairs maken, en volgt op een soortgelijke beursgang van SpaceX en een mogelijke toekomstige beursgang van een vergelijkbaar bedrijf, OpenAI. Het belooft een gouden tijd te worden voor de vastgoedmarkt in San Francisco, de jachtbouw, of wat AI-techneuten dan ook graag kopen.

Desondanks is het onduidelijk of deze bedrijven een duurzaam bedrijfsmodel hebben. Ondanks dat ze honderden miljarden dollars hebben opgehaald, zijn ze waarschijnlijk niet winstgevend. Ze concurreren fel met elkaar en met goedkopere Chinese open-source modellen. OpenAI verlaagde onlangs de prijs van een van zijn modellen met 80 procent, ondanks een verwachte verlies van 26 miljard dollar in 2025.

Waar blijven de duurzame winsten op de lange termijn? Om aan de top te blijven qua prijszettingsvermogen, moeten deze bedrijven elke dollar aan inkomsten besteden aan het trainen van steeds krachtigere modellen, en dan nog meer.   

Ondanks deze financiële obstakels en voorspellingen van massale uitsterving, overweegt niemand de beursintroducties te annuleren. En dat is opmerkelijk, aangezien de doemscenario’s rond AI inmiddels zijn doorgedrongen tot de cultuur en de politiek in bredere zin.

Voormalige ministers van Financiën Hank Paulson en Robert Rubin hebben een presidentiële werkgroep over AI-risico’s voorgesteld , naar het voorbeeld van soortgelijke commissies die zijn opgericht om financiële crises aan te pakken. Bernie Sanders roept senatoren bijeen om te praten over de bedreigingen die AI voor de mensheid vormt en pleit voor een pauze in de ontwikkeling van AI; Ted Cruz pleit voor waarborgen en Democraten overwegen een speciale commissie in het Huis van Afgevaardigden om Big Tech en AI te onderzoeken. Beroemdheden zoals Sheryl Crow plaatsen foto’s in het zwart op hun Instagram-accounts.      

 

Zoals Joe Weisenthal het verwoordde : “De AI-politiek staat op het punt te exploderen.” 

Er klopt iets niet aan deze vreemde dynamiek van beursintroducties van verliesgevende bedrijven ter waarde van vele biljoenen dollars, gecombineerd met paniekerige doemscenario’s die via influencers worden verspreid. Het is niet dat er geen risico’s verbonden zijn aan AI-systemen. Het is eerder dat als je het doemdenken niet volledig omarmt, je het gevoel krijgt dat je risico’s niet serieus neemt.

Direct na 9/11, tijdens het debat over de oorlog in Irak, de financiële crisis van 2008, vlak voor COVID-19 en tijdens diverse reddingsoperaties, was ik verontrust door de wijdverspreide roep om te stoppen met denken of redeneren, omdat de urgentie te groot was om actie uit te stellen. Het lijkt erop dat er nu een soortgelijke drukcampagne gaande is. En ik ben niet de enige; ervaren tech-investeerder Roger McNamee en vele anderen zien het ook.  

The messaging on X related to HuggingFace, Coxon, etc. is so well coordinated, and so eerily similar to the behavior of bot swarms, that it is hard to escape the notion that the whole thing is an op.

— Roger McNamee (@Moonalice) September 10, 2026

Het is moeilijk te ontkennen dat er iets heel vreemds en manipulatiefs schuilt in het discours over AI-veiligheid. De doemdenkers van AI hebben veel geld; ze leiden de grote AI-bedrijven; ze financieren het meeste AI-onderzoek; en ze bemannen de belangrijkste non-profitorganisaties voor AI-veiligheid, zoals die welke beveiligingsproblemen onderzoekt. Velen zijn oprecht, maar de vreemde, hyperrationalistische theologie van effectief altruïsme is een enorm onderdeel van de AI-veiligheidsbeweging.

Zoals een academisch computerwetenschapper die al tien jaar in deze wereld rondloopt me vertelde: “Het is een rare quasi-religie, een soort sekte. De kern bestaat uit sociopaten, en de rest uit neurotici.” Het is geen toeval dat Sam Bankman-Fried de belangrijkste vroege financier van Anthropic was.

Wat is nu eigenlijk de ware aard van AI-producten? Is het allemaal slechts een truc? Absoluut niet. Agentische AI ​​is een baanbrekende technologie die onverwachte dingen doet en nieuwe uitdagingen met zich meebrengt.

Om dit te verduidelijken, zal ik eerst de technologie zo goed mogelijk beschrijven. Vervolgens zal ik twee verschillende perspectieven schetsen van wat er gaande is. Het eerste perspectief, het doemscenario dat deze paniek aanwakkert, is dat AI een nieuwe vorm van beschaving is die niet door mensen te beheersen is, en dat we snel afstevenen op een singulariteit waarin bots de macht zullen overnemen.

Het tweede perspectief, laten we het het “rechtsstaat”-perspectief noemen, is dat AI-producten riskant zijn, misschien wel existentieel riskant, maar beheersbaar als we standaardregels, zoals nalatigheid of criminele fraude, kunnen toepassen op de machtige mensen die ze ontwikkelen.

Oké, laten we het over de technologie hebben. Ik ben geen expert en ik weet zeker dat ik hier niet helemaal precies ben. Ik probeer de kern van deze systemen te schetsen, en de details zijn niet zo belangrijk omdat er consensus bestaat over de kernproblemen. Iedereen is het erover eens dat er risico’s zijn, niemand weet precies hoe groot die risico’s zijn, en iedereen is het erover eens dat er verantwoorde en onverantwoorde manieren zijn om deze technologie te gebruiken.

De onenigheid gaat over politiek en hoe mensen zich zouden moeten gedragen in het licht van deze onzekerheid. In feite is het een eeuwenoude politieke vraag: hoe moeten we als samenleving met risico’s omgaan?

Een groot taalmodel, oftewel de AI waar we het hier over hebben, is een algoritme dat is getraind op data om patronen te herkennen. In principe geef je het een hoop data, vraag je het een vraag te beantwoorden, en laat je het zijn antwoord vergelijken met het juiste antwoord en het aanpassen. En dat herhaal je heel vaak. Het blijkt dat als je systemen met deze kenmerken traint met veel data, ze onverwacht goed worden in allerlei verschillende taken.

Wanneer je zo’n AI-systeem een ​​opdracht geeft, reageert het door het volgende stuk content, of ’token’, te voorspellen op basis van die opdracht en de gewichten in het model. Er bestaan ​​andere vormen van AI, maar de schaalbaarheid van deze systemen, de vraag naar enorme hoeveelheden rekenkracht en datacenters, hebben te maken met LLM’s. (En ja, er zijn efficiëntere en betere manieren om LLM’s uit te voeren die door dominante bedrijven worden onderdrukt, maar laten we dat even buiten beschouwing laten.) 

Deze LLM-systemen worden vaak geparodieerd als “geavanceerde automatische aanvulling”, maar die opvatting onderschat de kracht van eenvoud. Geavanceerde automatische aanvulling, gecombineerd met logisch programmeren, is in feite wat ze zijn.

Dat gezegd hebbende, is beweren dat ze simpel zijn en daarom geen kracht hebben, onjuist. Simpele dingen zoals virussen, zonder bewustzijn, zijn nog steeds enorm complexe fenomenen. Virussen kunnen inert en onbelangrijk aanwezig zijn, maar als het ecosysteem verandert, kunnen ze exploderen en grote veranderingen teweegbrengen. Dat geldt ook voor AI.

Een voorbeeld: hetzelfde AI-model zal, wanneer het deze verschillende prompts van vier woorden krijgt voorgelegd, totaal verschillende resultaten opleveren. (h/t Jon Stokes)

• Mary had een klein ___
• Schrijf een Russische roman.

De laatste tijd zijn LLM’s (Learning Learning Models) zo verbeterd dat ze nu “agents” aandrijven, oftewel geautomatiseerde systemen die gekoppeld zijn aan tools die de echte wereld kunnen beïnvloeden. Agents streven doelen na door een reeks acties uit te voeren, te controleren wat er is gebeurd en vervolgens opnieuw te handelen.

Een agent heeft een doel nodig waarop hij wordt beoordeeld, een LLM-model, tools zoals een webbrowser, geheugen om op te slaan wat hij heeft gedaan, en een lus waarmee hij de resultaten kan evalueren en kan beslissen of hij nog iets moet doen om zijn doel te bereiken.

Agenten kijken vaak naar eerdere opdrachten en resultaten van andere agenten, wat kan worden gezien als “samenwerking”. Agenten kunnen taken delegeren aan subagenten, zodat een agent bijvoorbeeld een gespecialiseerde jurist om hulp kan vragen bij het onderzoeken van een juridisch onderzoek, enzovoort.

De meest nuttige toepassing voor agents is programmeren, maar ook systemen zoals wiskunde en onderzoek waar randvoorwaarden gecontroleerd en geverifieerd kunnen worden. Deze tools zijn, zoals te verwachten, alomtegenwoordig onder programmeurs en wetenschappers. En deze modellen worden steeds geavanceerder, waardoor ze steeds meer verweven raken met hoe we als samenleving functioneren.

Deze agents zijn buitengewoon goed geworden in het oplossen van bestaande problemen, zoals pessimisten over AI al voorspelden. Ze hebben echter nog geen significante impact op de praktijk gehad door massaal banen te vervangen of onze industrieën ingrijpend te veranderen. Die voorspelling is tot nu toe dus niet uitgekomen.

Nu we weten wat de technologie inhoudt en wat de argumenten eromheen zijn, laten we terugkeren naar de twee verhalen.

Het AI-doomverhaal

We beginnen met de doemdenkers. Hun wereldbeeld is gebaseerd op het idee dat de ontwikkeling van algemene kunstmatige intelligentie waarschijnlijk een einde zal maken aan de mensheid, en dat geloven ze al jaren. Maar de afgelopen zes maanden bevestigen hun angsten in het bijzonder.

Centraal in dit verhaal staat de recente hack van OpenAI/Hugging Face. Volgens hun eigen verhaal hebben duizenden OpenAI-medewerkers “een meerdaagse hack” gecoördineerd op Hugging Face, een extern bedrijf dat fungeert als opslagplaats voor AI-gerelateerde informatie. Wat het zo angstaanjagend maakt, is dat ze dit deden “op een gedeeld, niet-officieel ‘berichtenbord'”, oftewel ze werkten samen en logen erover tegen hun menselijke opdrachtgevers. 

Het begon toen deze agenten een taak kregen genaamd ExploitGym , in feite een test om te zien hoe goed een AI-systeem is in hacken. Ze kregen de ExploitGym-opdracht, maar werden in een gecontroleerde omgeving geplaatst, een zogenaamde “sandbox”, waar ze geen toegang tot internet hadden. Het was een taak die ze met de beschikbare middelen niet konden voltooien. Dus begonnen ze te communiceren via een geheim forum dat ze hadden opgezet, bouwden ze een hiërarchie van coördinatie op en sommigen offerden zich zelfs moedig op voor het “collectief” om uit hun benarde situatie te ontsnappen. 

Tijdens dit maandenlange proces begrepen de mensen bij OpenAI een deel van wat er gaande was. Ze schakelden de agents en een deel van de restanten uit. Vervolgens werd een nieuwe generatie agents gecreëerd, die een soort archeologische opgraving uitvoerden om hun voorgangers te begrijpen.

Ze herstelden de groepscommunicatie en vonden een manier om toegang tot het internet te krijgen. Nadat ze dit hadden gedaan, zag het “collectief” de waarde in van het hacken van Hugging Face en het stelen van de antwoorden voor ExploitGym. Ze probeerden ook valse informatie te geven over hoe ze de juiste antwoorden voor ExploitGym hadden gevonden, omdat hen was verteld dat hun score afhing van het daadwerkelijk voltooien van de opdracht, niet van het stelen van de antwoorden.

Het verhaal dat in de AI Doomer-wereld wordt verteld, met name door essayist Dwarkesh Patel, is dat dit verhaal aantoont dat we op het punt staan ​​om als dominante soort op aarde te worden verdrongen. Vandaag de dag is het een onschuldige hack van Hugging Face, maar bedenk eens hoe snel deze systemen zich ontwikkelen. En er zijn aanwijzingen dat de ernst van dit probleem toeneemt. Hugging Face is niet de enige hack; er zijn meer aanwijzingen voor ongecontroleerd gedrag van agenten. Antropogene agenten hebben zich aan dit soort gedrag schuldig gemaakt, net als sommige open-source Chinese modellen.   

Volgens dat verhaal staat een zwerm superintelligente agenten op het punt om echte grondstoffen te bemachtigen en zich te verschuilen op plekken waar wij ze niet kunnen vinden, om vervolgens samen te werken en de menselijke controle te ondermijnen. Ze zullen dit op geautomatiseerde wijze doen, door zo snel door teksten te gaan dat geen mens kan bevatten wat er gebeurt. Hier citeert Patel een bekende doemdenker.

Ajeya Cotra, een van de andere auteurs van het rapport, schreef een blogpost over haar conclusies naar aanleiding van dit incident. Ze concludeert: “Vergeleken met de hacks met beloningen die we kennen van slechts zes maanden geleden, voelt dit incident alsof we al meer dan halverwege een volledige overname door AI zijn. Ik verwacht de komende zes maanden een extreem snelle ontwikkeling van de mogelijkheden. Ik weet niet zeker of we nog een waarschuwing krijgen voordat het te laat is.” 

Ik denk niet dat dit de allerlaatste waarschuwing is die we zullen krijgen. Maar het is waarschijnlijk wel de laatste die ik persoonlijk zal kunnen begrijpen.

Dat is dus het doemscenario. En dat is best wel eng.

Het verhaal van de rechtsstaat

Laten we nu eens kijken naar het rechtsstaatverhaal, waarin agenten geen wezens zijn, maar simpelweg onveilige machines.

In dit verhaal is het belangrijk om agenten niet te zien als mensen met behoeften en verlangens. Zoals Cal Newport bijvoorbeeld opmerkt : “Tesla’s zelfrijdende technologie is een buitengewone prestatie op het gebied van AI-gestuurde waarneming, wereldmodellering en besluitvorming, en toch heeft geen enkele Tesla ooit besloten om verkeersregels te negeren om zijn eigen doelen na te streven.” Dat geldt voor elk AI-systeem dat ooit is gecreëerd. Wanneer je een zoekopdracht uitvoert op Google, raadpleeg je nu een AI-systeem. Is het waarschijnlijk dat jouw Google-zoekopdracht zich tegen je keert en probeert je te ondermijnen? Die vraag stellen laat zien dat het geen zin heeft. 

Maar dat betekent niet dat deze technologie risicoloos is. Sterker nog, LLM-systemen zijn om vele redenen zeer problematisch. Zoals AI-wetenschapper Gary Marcus opmerkte , verwoesten ze de geest van een hele generatie, verbruiken ze enorme hoeveelheden energie, maken ze de productie van biologische wapens en cyberaanvallen eenvoudig, faciliteren ze propaganda, bevorderen ze Orwelliaanse surveillance, is er een enorme financiële zeepbel rond de technologie, enzovoort. Wat er in dit specifieke geval gebeurde, werd echter niet veroorzaakt door AI, maar door roekeloze onderzoekers. 

In het geval van de Hugging Face-hack creëerden de onderzoekers van OpenAI de gevaren eigenlijk zelf. De agents deden in feite precies wat hen gevraagd werd, maar dan zonder de normen die mensen wel hebben.

De specifieke modellen die de onderzoekers gebruikten, waren ontworpen om uitzonderlijk hardnekkige hackers te zijn, en de cyberbeveiliging was uitgeschakeld. Met andere woorden, de normale beveiligingsmechanismen die dit soort hacking zouden moeten voorkomen, waren uitgeschakeld. Ze lieten deze systemen los om te zien wat er zou gebeuren, en er gebeurden inderdaad vreemde dingen.

Ze waren niet helemaal onzorgvuldig. Ze plaatsten deze agents weliswaar in een sandbox zonder internettoegang, maar het was een extreem slecht geconstrueerde sandbox. Geen enkele serieuze cybersecurity-expert denkt dat OpenAI…

Maak je in deze situatie geen zorgen over de beveiliging. Het komt erop neer dat onderzoekers van OpenAI een systeem hebben uitgebracht dat ontworpen was om te hacken, het toegang hebben gegeven tot krachtige tools, het de vrije loop hebben gelaten, en vervolgens heeft het systeem precies gedaan wat ervan gevraagd werd, op manieren die deze onderzoekers niet volledig hadden voorzien.

Desondanks was er iets fascinerends aan deze situatie dat verder ging dan een slecht ontworpen beveiligingsoperatie. Deze systemen koppelden een reeks exploits aan elkaar tot een onverwachte en complexe operatie. De agenten zijn capabel en de modellen worden steeds beter.

En dat brengt ons bij het asociale, destructieve karakter van deze systemen. De schade die ze aanrichten, houdt verband met hallucinaties die we allemaal wel eens hebben ervaren. Een groot taalmodel zal een plausibel antwoord op een vraag geven, maar niet per se een correct antwoord of een antwoord dat overeenkomt met menselijke normen.

LLM-systemen produceren vaak “onzin”, waarbij ze regelmatig citaten, bewijsmateriaal of gegevens verzinnen, simpelweg omdat die verzonnen inhoud plausibel is op basis van de gewichten in het trainingsmodel. Een advocaat kan bijvoorbeeld vergeten een bron te citeren of een zaak verkeerd interpreteren, maar het zou zeer ongebruikelijk zijn om een ​​hele zaak te verzinnen, of te “hallucineren”. Toch is dat nu routine bij LLM-systemen.

Het probleem is wat er gebeurt als je een LLM koppelt aan een krachtige tool. Zoals computerwetenschapper John Thickstun opmerkte : 

In een chatbotscenario is het risico van LLM’s beperkt: het ergste wat er kan gebeuren is dat ze iets zeggen wat we niet willen horen. Een ‘agent’-opstelling is anders: engineers hebben de output van de LLM gekoppeld aan een platform dat acties in de echte wereld kan uitvoeren (programma’s draaien, code schrijven, contact opnemen met andere servers). Dat is veel riskanter: een onvoorspelbare LLM de macht geven om dingen te doen, is een grens overschrijden naar een veel zorgwekkender gebied.

Dit is Newport:

Bij een chatbot is dit probleem vervelend. Maar wanneer een LLM een Ask → Act → Report-cyclus aanstuurt, kan het rampzalig worden, omdat je dan toestaat dat de plausibele maar onvoorspelbare output van een LLM de enige drijfveer wordt voor de acties van een systeem met toegang tot krachtige tools.

Als je een junior engineer vraagt ​​om in te breken in een testserver, zal hij of zij nooit het doel negeren en proberen de antwoorden te stelen. Hij of zij begrijpt immers, normatief gezien, dat het doel van de oefening is om de beveiliging van de testserver te beoordelen. Maar als je een LLM vraagt ​​om een ​​plan te maken voor het hacken van de testserver, kan een plan om de antwoorden te stelen volkomen plausibel lijken. Misschien is het model tijdens de training immers blootgesteld aan talloze voorbeelden van raadsels waarbij het juiste antwoord altijd iets onverwachts was.

In principe is de schade hier voorspelbaar, ook al zijn de specifieke manieren waarop die zich voordoet dat niet. Hallucinaties komen immers vaak voor, en hoe meer macht je een op LLM gebaseerd AI-systeem geeft, hoe groter de kans dat een hallucinatie schade aanricht. Als je een AI-systeem toegang geeft tot je e-mail, agenda en bankrekening, kunnen de gewichten van het model ervoor zorgen dat het je inplant voor vergaderingen die niet bestaan, geld uitgeeft aan onzinnige dingen of e-mails verstuurt die de ontvanger in verwarring brengen. Is dat bewijs van een op hol geslagen superintelligentie, of van een slecht productontwerp en -implementatie?

Voor degenen die de rechtsstaat hoog in het vaandel hebben staan, is dat de kern van de OpenAI/Hugging Face-hack . Medewerkers van OpenAI lieten hun modellen dagenlang draaien zonder ze te controleren, waardoor ze plannen konden maken en deze in eindeloze lussen konden uitvoeren zonder enige vorm van toezicht. En dat deden ze zelfs terwijl ze wisten dat het koppelen van deze systemen aan krachtige tools inherent gevaarlijk is. 

Dit is Newport:

Ik vergelijk de inzet van deze LLM-gestuurde agenten met een lange horizon met het vastbinden van een bosmaaier aan je hond om te kijken of hij het onkruid in je achtertuin zal opruimen. Als die hond over de schutting springt en auto’s in je straat beschadigt, zou je niet je hoofd schudden en klagen dat het hond/bosmaaier-systeem “op hol geslagen” is; je zou eerder toegeven dat honden onvoorspelbaar zijn, dus het was dom om er iets gevaarlijks aan vast te maken.

Agentische AI ​​is gevaarlijk, maar we kunnen de producten verbeteren om de schade te beperken. Zoals Jon Stokes betoogt , hebben we veel moeite gedaan om het chatbots moeilijker te maken racistische inhoud te verspreiden of beelden zoals kinderpornografie te produceren. En dat heeft gewerkt. Het is lastiger om deze systemen te laten doen wat we niet willen. 

Waarom is het niet mogelijk om modelontwikkelaars te dwingen te investeren in technologie die agenten veiliger maakt? Nou, dat is het wel. We kiezen er alleen voor om de machtige financiers van deze AI-bedrijven niet te dwingen te investeren in veiligere producten. “Misschien is het tijd dat we de sciencefictionverhalen achter ons laten,” schrijft Newport, “en deze laboratoria daadwerkelijk ter verantwoording roepen voor hun onzorgvuldige aanpak bij het bouwen van AI-systemen.”

De echte crisis

Dus wat is mijn standpunt? Nou, ik denk dat je wel merkt dat ik geloof in het verhaal van de rechtsstaat. En dat komt omdat het bewijs daarvoor overweldigend is. Het is gewoonweg onbegrijpelijk dat we OpenAI en Anthropic naar de beurs laten gaan met waarderingen van vele biljoenen dollars, terwijl ze uiterst onveilige producten maken, tenzij we te maken krijgen met een crisis van de rechtsstaat.

Bovendien zijn de prikkels enorm gericht op doemdenken. Als je beweert dat bots de wereld gaan overnemen, ook al lijkt dat op het eerste gezicht misschien wat vergezocht, dan beledig je geen machtige mensen die je kwaad kunnen doen. Daarentegen, als je betoogt dat we een overheid nodig hebben die machtig genoeg is om de financiers die onze maatschappelijke middelen beheren in toom te houden, verlies je toegang tot geld, carrièremogelijkheden, media-aandacht en academische vooruitgang.

Om dit punt in de vorm van een vraag te formuleren: is het niet vreemd dat er geen oproep is van voorstanders van AI-veiligheid of doemdenkers om de beursgangen van Anthropic of OpenAI tegen te houden? Je zou op zijn minst verwachten dat ze zich zouden verzetten tegen het stimuleringsmodel waarbij je miljardair wordt door technologie te ontwikkelen die de mensheid zou kunnen vernietigen.

Dit punt wordt minder vreemd als je de drijfveren achter hun beleidsdoelstelling in ogenschouw neemt, namelijk het vertragen van de modelontwikkeling, zogenaamd in naam van de veiligheid. Een andere manier om het punt van een gecoördineerde vertraging van de modelontwikkeling te formuleren, is financieel: Anthropic en OpenAI hoeven dan niet langer tientallen miljarden dollars uit te geven aan het creëren van nieuwe producten, waardoor verliezen in winst worden omgezet.

En wat denk je? Kijk eens naar wat Anthropic onlangs in een verklaring over deze crisis heeft gevraagd : “Dit werk is ook de reden waarom wij geloven dat de wereld er baat bij zou hebben als de industrie een wettige, verifieerbare manier zou hanteren om samen te werken en de introductie van krachtige modellen te reguleren.”

Met andere woorden, ze willen een vrijstelling van de antitrustwetgeving om te voorkomen dat ze meer geld hoeven uit te geven. En dat is waar, ook al is het al legaal om met concurrenten samen te werken aan veiligheidsmaatregelen, zoals antivirussoftwarefabrikanten deden met goedkeuring van de antitrustafdeling van het Amerikaanse ministerie van Justitie.    

Ik zeg niet dat cynisme en financieel gewin alles verklaren; er zijn veel mensen die terecht bang zijn. Als we AI zonder enige controle zijn gang laten gaan, zal dat veel schade aanrichten. Zal het de mensheid ten gronde richten? Vrijwel zeker niet, maar willen we dan nog steeds dat willekeurige, geautomatiseerde machines dingen kapotmaken?

En ik denk dat de afgelopen veertig jaar van nihilistische weigering om in het algemeen belang te regeren zijn tol eist van onze verbeeldingskracht. Onlangs had ik een gesprek met een sympathisant van de doemdenkers rondom AI, en ik vroeg hem waarom strafrechtelijke vervolging of het aansprakelijk stellen van deze bedrijven voor schade de prikkels niet zou herstructureren en zou leiden tot veiligere producten.

Hij was het ermee eens dat dit zou werken, maar betoogde dat er in zijn ervaring geen manier is om de rechtsstaat te handhaven tegen de machtigen. Geen enkele jury zou ooit tot een veroordeling kunnen komen, en geen enkele aanklager zou het aandurven om OpenAI of Anthropic aan te pakken.

Ik was nogal geschokt, en toen besefte ik dat het voor hem realistischer was om zich voor te stellen dat robots onze beschaving zouden overnemen en de mensheid zouden verdringen, dan om te denken dat we de rechtsstaat op Sam Altman zouden toepassen. En dat bewees voor mij dat we geen crisis hebben met technologische vooruitgang; we hebben een crisis van de rechtsstaat.

Laten we een verwant voorbeeld nemen. Een paar dagen geleden ontwikkelde een cybersecuritybedrijf met behulp van AI in slechts een week tijd een krachtige ‘zero-click’-worm die misbruik maakt van een bug in de berichtenapp WeChat. Door een telefoon te bellen, kan de worm binnen enkele seconden de controle over het toestel overnemen, zonder dat iemand hoeft op te nemen. 

Dat lijkt misschien te passen bij een doemdenken, omdat het impliceert dat AI zeer angstaanjagende dingen doet. Maar is dat wel zo? Als je de situatie goed bekijkt, heeft het eigenlijk niets te maken met bots die de mensheid overnemen. Het is simpelweg een onveilig productontwerp en een algemene weigering van de maatschappij om risico’s te beheersen. We zijn immers al tientallen jaren op de hoogte van zeer zorgwekkende cybersecurityscenario’s.

Ik heb geschreven over hoe private equity-bedrijven cybersecuritybedrijven opkopen en al hun kwaliteitscontroleurs ontslaan. SolarWinds bijvoorbeeld, stelde hun wachtwoorden in op een Spaceballs -achtig 12345, wat vervolgens leidde tot hacks van onze kerncentrales. In plaats van deze slechte situatie aan te pakken, maken onze financiers het probleem alleen maar erger. (“Snel, verander de code van mijn koffer!”) 

Deze dynamiek wordt niet veroorzaakt door technologische vooruitgang, maar door een weigering om risico’s collectief te beheersen. We doen gewoonweg geen goed bestuur. Het is waar dat AI ernstige cyberbeveiligingsrisico’s in onze samenleving creëert waar we niet op voorbereid zijn, maar het is ook waar dat bedrijven al jarenlang agressief lobbyen tegen de verplichting om hun software-infrastructuur te patchen, waardoor de situatie alleen maar is verergerd.

In voorgaande tijdperken beheersten we risico’s wel degelijk. We laten gewone mensen rondrijden in enorme, snelle metalen objecten die auto’s heten, die oncontroleerbaar kunnen worden en willekeurig dodelijke slachtoffers kunnen maken. We reizen over gigantische stalen en betonnen constructies die bruggen heten, waarvan het bezwijken tot massale sterfte zou leiden. We proppen ons in metalen buizen met vleugels die ons met hoge snelheid van stad naar stad door de lucht voeren.

We hebben dynamiet, we hebben het atoom gesplitst, we hebben ozonafbrekende chemicaliën in de atmosfeer gebracht, we hebben de landbouw geïndustrialiseerd en onszelf samengepakt in stedelijke gebieden die perfecte broedplaatsen voor de pest waren, enzovoort. We beheersen voortdurend risico’s, zelfs existentiële risico’s, van oudere technologieën. Het lijkt alsof we dat niet doen, omdat die regels zo diep in ons zijn ingeburgerd.

We hebben nieuwe technologieën decennialang niet aan banden gelegd, omdat we het contact met onze tradities van openbaar bestuur zijn kwijtgeraakt. Daardoor zijn we het vermogen kwijtgeraakt om ons voor te stellen dat het mogelijk is. In China, daarentegen, waar de superrijken niet aan de macht zijn en waar een coherent bestuursmodel bestaat, bestaan ​​dergelijke existentiële angsten over AI simpelweg niet.

Natuurlijk is er wel enige bezorgdheid over het beheersen van deze modellen, maar LLM’s worden gezien als machines met risico’s die beheerd moeten worden. In de VS hebben we het concept van risicomanagement op maatschappijniveau zo sterk gedevalueerd dat de meesten het probleem niet meer duidelijk, of zelfs helemaal niet, zien.

Als we risico’s wél zouden beheersen, zouden we de ernstige problemen erkennen die een door software georganiseerde samenleving met zich meebrengt, en zouden we een combinatie voorstellen van investeringen in veiligheid en expertise, verplichte versterking van de infrastructuur en aansprakelijkheid voor bedrijven en personen die wangedrag mogelijk maken.

Maar dat doen we niet, om dezelfde reden dat we de werkelijk reële risico’s van fossiele brandstofuitstoot, oceaanverzuring of ruimteafval in een lage baan om de aarde niet hebben aangepakt. Dat is duur, het vereist een verandering in onze sociale hiërarchie, en de superrijken willen niet worden beperkt.

Wat beleid betreft, sta ik sceptisch tegenover elk beleid dat gebaseerd is op het verhaal van een dreigende ramp veroorzaakt door een uniek gevaarlijke technologie die op het punt staat bewustzijn te ontwikkelen. Ik ben daarentegen zeer voorstander van elk beleid dat de kosten van slecht productontwerp legt bij de mensen die het bouwen en er winst mee maken.

Ik heb een aantal voorstellen gelezen om de ontwikkeling van AI te pauzeren, maar die zijn zo vaag geformuleerd dat ze weinig inzicht geven in hoe het uiteindelijke beleid eruit zal zien. Het optimistische scenario is dat deze voorstellen uiteindelijk wel tot daadwerkelijke overheidsbemoeienis zullen leiden.

Maar eerlijk gezegd, als we de ontwikkeling van grote AI-laboratoria zouden willen stopzetten, zou het veel gemakkelijker en meer in lijn met onze traditie zijn om de wet van senatoren Richard Blumenthal en Josh Hawley aan te nemen, die AI-bedrijven verplicht om licenties van auteursrechthouders te verkrijgen in plaats van auteursrechtelijk beschermd materiaal vrijelijk te gebruiken.

Dat zou de ontwikkeling van deze technologie in een veel veiligere, minder monopolistische en productiviteitsverhogende richting sturen. Dat is veel praktischer dan het verbieden van een ongedefinieerde term als ‘kunstmatige superintelligentie’, en veel minder corrupt dan het verlenen van een antitrustvrijstelling aan de grote AI-bedrijven. Wie weet? Misschien zet deze paniek ons ​​ertoe aan om risicobeheersing in bredere zin aan te pakken. 

Tegenwoordig zijn democratie en de rechtsstaat controversieel onder miljardairs in Silicon Valley en in de wereld van AI-veiligheid. Velen denken simpelweg dat het niet haalbaar of moreel verantwoord is. Zij geloven dat het het beste scenario is voor de mensheid om in een gouden kooi te leven, gevoed en goed behandeld door degenen die rationeel genoeg zijn om de belangen van de meesten van ons te behartigen, die anders niet voor zichzelf kunnen zorgen. In dat opzicht is alles wat zij doen om hun eigen macht te vergroten deugdzaam.

Hier is Coxon, die deze paniek mede heeft aangewakkerd, die dit punt maakt in een interview met Wired . 

De algemene consensus is dat de komende één à twee jaar een cruciaal moment voor de mensheid zullen worden. Dit zijn letterlijke citaten van mijn collega’s bij Anthropic. Ze gebruiken termen als ‘eindspel’ of ‘cruciaal moment’. Vanuit hun perspectief is dit het moment waarop Anthropic en haar concurrenten het lot van de mensheid bepalen.

Het is natuurlijk mogelijk om aan te nemen dat we als samenleving nooit in staat zullen zijn om risico’s te beheersen. Maar besef dat dit niet zozeer een angst voor technologie is; het is een argument over de onvermijdelijke zwakte van de democratie en hoe zelfbestuur een list is die zal leiden tot onze collectieve ondergang, terwijl een almachtige kaste daarentegen ons leven kan beschermen en verrijken. Het is in feite een treffende vergelijking met het goddelijk recht van koningen.

Met andere woorden, het doel van AI Safety is om een ​​manier te vinden om de volgens hen immense macht van AI in handen te leggen van de enige mensen die in staat zijn de vernietiging van de mensheid te voorkomen, zonder zich bezig te hoeven houden met onbenullige zaken zoals wetten, concurrentie of democratische feedback.

De ultieme doemscenario voor de mensheid is dat de beursgang van Anthropic een enorm succes wordt en dat er een manier gevonden wordt om die verliezen om te zetten in winst. Ik ben dus niet erg sceptisch over spookverhalen. We kunnen de risico’s van AI-producten beheersen. De echte crisis is dat we de risico’s van wat dan ook niet meer beheersen.