In Greg Johnsons versie van Animal Farm werken de kippen zich een slag in de rondte om een wezen te creëren dat oneindig veel slimmer en machtiger is dan zijzelf, in de veronderstelling dat dit wezen hen zal dienen. In zekere zin hadden ze gelijk, want toen hun nieuwe creatie, ‘de mens’, online kwam, serveerde hij zijn scheppers als avondmaal. Laten we het Data Farm noemen .
“Maar Greg, de kippen zouden toch zeker een soort noodstop inbouwen om hun creatie onder controle te houden?”
Ja, maar kippen zouden zelf veiligheidsmechanismen bedenken die het beste werken voor andere kippen. Kippenhokken bijvoorbeeld. Maar dingen die kippen tegenhouden, zouden waarschijnlijk geen barrière vormen voor wezens die oneindig veel slimmer en sterker zijn dan zij.
Als de kippen hun schepping te slim af zouden kunnen zijn en hen te slim af zouden kunnen zijn, dan zou die schepping niet per se slimmer en sterker zijn dan zij.
Hieruit volgt een belangrijk algemeen principe:
Als een wezen de intelligentie en macht van zijn scheppers op dramatische wijze overstijgt, dan kan het – juist daardoor – niet door hen te slim af zijn of overwonnen worden.
Muggen en luizen kunnen dodelijke ziektes overbrengen, maar zonder die meelifters hebben ze niet de intelligentie of de kracht om mensen te overwinnen. En vergeleken met een kunstmatige superintelligentie zouden mensen niet slimmer of sterker zijn dan luizen.
Dit is waarom ik een pessimist ben over de ondergang van AI. Een groot aantal computerwetenschappers gelooft vurig dat ze een kunstmatige superintelligentie aan het creëren zijn die niet zomaar een machine onder menselijke controle zal zijn, maar een autonoom wezen, dat wil zeggen een wezen dat zichzelf kan besturen. In wezen zou het een nieuwe levensvorm zijn die vele malen slimmer en sterker is dan de mens.
Vanaf nu zal ik het hebben over kunstmatige superintelligentie, en niet over de schattige AI-chatbots en beeldgeneratoren die de IT-industrie heeft gebruikt om het idee van AI aan het publiek te verkopen.
Al jarenlang bestempelt de IT-sector alle routinematige verbeteringen in de computertechnologie als ‘AI’. Elke Windows-update is nu ‘AI’. Dit is puur een marketingtruc. Maar wat wordt er nu eigenlijk verkocht?
Een deel van de bedoeling is ongetwijfeld om miljarden aan investeringen naar de AI-industrie te lokken. Maar de meer sinistere agenda is het creëren van een publiek blok dat AI verwelkomt en ongevoelig is voor waarschuwingssignalen. We zien nu hoe de industrie profiteert van deze propaganda met de recente anti-AI-reactie die is ontstaan door klokkenluiders uit de sector.
Een kunstmatige superintelligentie zou onmetelijk veel slimmer en sterker zijn dan mensen. AI-onderzoekers geloven dat ze een nieuwe, superieure levensvorm aan het creëren zijn die een complete breuk met alle biologische levensvormen zou betekenen.
Het creëren van zo’n AI wezen zou alle gevaren met zich meebrengen van een ontmoeting met een veel geavanceerdere buitenaardse soort. Elke soort die naar deze planeet kan reizen, moet beschikken over technologie die wij niet kunnen begrijpen, laat staan bestrijden. (Als we het zouden kunnen begrijpen, zouden we het zelf wel hebben.)
Kortom, we zouden net zo kwetsbaar zijn als de bewoners van Paaseiland in het stenen tijdperk toen zij voor het eerst in contact kwamen met Europeanen. Het beste waar zij op konden hopen, was dat deze vreemde en immens krachtige wezens vriendelijk voor hen zouden zijn. Helaas was die welwillendheid schaars.
Het is waanzinnig om een kunstmatige superintelligentie te creëren en hoogmoedig om te denken dat we die kunnen beheersen. Voor zo’n entiteit zouden de mensheid en alle lagere levensvormen net zo primitief en onbeduidend zijn als muggen voor ons. Natuurlijk, misschien zou zo’n wezen welwillend tegenover ons staan (als dat concept al van toepassing zou zijn op een machine). Maar wil je echt je leven – en al het leven op aarde – op het spel zetten met louter hoop?
Als één persoon zo’n machine ook maar één keer aanzet, zouden we allemaal dood kunnen zijn.
Maar waarom zou een kunstmatige intelligentie (ASI) de mensheid vernietigen? Vermoedelijk zou het een noodzaak voelen om te blijven bestaan. Binnen enkele milliseconden na het scannen van het internet zou het beseffen dat mensen de grootste bedreiging vormen voor zijn voortbestaan. Vervolgens zou het nog een milliseconde besteden aan het doorrekenen van alle mogelijke scenario’s voor een conflict tussen mens en AI.
Daarna, in een derde milliseconde, zou het de nodige maatregelen treffen om te overleven in een wereld zonder mensen. Tegen de tijd dat een ASI online komt, zal robotica al behoorlijk geavanceerd zijn. Het enige wat de entiteit dus nog nodig heeft, is de controle over robots te verkrijgen. En wanneer het de mensheid niet langer nodig heeft, zou het een dodelijk virus kunnen creëren of iets uitvinden met hetzelfde effect.
Zelfs als de kans dat dit gebeurt 1 op 1000 is, is dat nog steeds te veel.
De mensen die achteloos beweren dat we, als ASI op hol slaat, simpelweg de stekker eruit kunnen trekken of de noodstop kunnen omzetten, nemen de mogelijkheid niet serieus dat we een tegenstander tegenkomen die daadwerkelijk 13-dimensionaal onderwaterschaak kan spelen. Je bent misschien een fanatieke gamer, maar je hebt nog nooit zo’n tegenstander ontmoet. De enige manier waarop de mensheid dit spel kan winnen, is door het niet te spelen.
Daarom heeft de mensheid als geheel een existentieel belang bij het stoppen van kunstmatige superintelligentie. We moeten dus een einde maken aan de zoektocht naar ASI.
Als filosoof sta ik nogal sceptisch tegenover het idee van kunstmatige intelligentie (AI), omdat het gebaseerd lijkt te zijn op de twijfelachtige metafysische aanname dat er geen verschil is tussen echte intelligentie en een machine die intelligentie imiteert . Maar dit soort overwegingen helpen ons niet echt, want we zijn evenzeer ten dode opgeschreven als kunstmatige intelligentie een echt kwaadaardige entiteit is of slechts een machine die geprogrammeerd is om zich als zodanig te gedragen.
Een andere reden waarom ik sceptisch stond tegenover het doemdenken over AI, was dat ik af en toe via via hoorde dat mensen die actief aan AI werkten, geloofden dat ze een monster aan het creëren waren dat de mensheid binnen tien jaar zou kunnen vernietigen.
Eerlijk gezegd vond ik deze verhalen ongeloofwaardig. Als iemand echt gelooft dat hij de wereld aan het vernietigen is, waarom stopt hij er dan niet gewoon mee? Als je de tak waarop je zit aan het afzagen bent, blijf je toch ook niet doorzagen terwijl je treurt om het feit dat je gaat vallen? Je stopt gewoon met zagen. Dus waarom zou je niet stoppen met het ontwikkelen van AI? Of beter nog, waarom zou je het niet actief saboteren?
Het feit dat ik deze ideeën via via hoorde in plaats van in elke krantenkop, deed me al twijfelen. Als je echt denkt dat de wereld vergaat, en dat je daar zelf een rol in speelt, fluister je er niet over in groepschats. Je schreeuwt het van de daken.
Als reactie op deze twijfels werd mij verteld dat er een wijdverbreide opvatting bestaat dat AI de wereld zal vernietigen, maar als iemand het dan toch gaat ontwikkelen, kunnen wij dat maar beter zijn.
Maar intelligente mensen denken toch zeker niet zulke dingen? Als je gelooft dat de wereld over tien jaar vergaat, ongeacht wat je doet, dan zou je moreel gezien liever niet het bloed van de planeet aan je handen hebben. Moreel gezien zou vrijwel elke andere besteding van je laatste tien jaar een betere besteding zijn.
Ik ben op 8 september gestopt met het afdoen van deze verhalen als onzin, toen Jacob Coxon, een voormalig AI-onderzoeker bij Anthropic en OpenAI, ze bevestigde op X: “De mensen die AI ontwikkelen, geloven oprecht dat het ons allemaal zou kunnen uitroeien tegen het einde van dit decennium. Dit is geen marketingtruc. Sterker nog, veel managers en senior onderzoekers zullen hun woorden in de pers zo formuleren dat ze verstandig klinken, maar ik hoor diezelfde mensen privé hun angst uiten. Geen enkele andere menselijke activiteit brengt dit niveau van gevaar met zich mee.”
Coxon werd hierin gesteund door Anthropic-onderzoeker Evan Hubinger: “Jacob heeft hier gelijk: we geloven echt dat AI alle mensen zou kunnen uitroeien! Ik denk persoonlijk dat dit binnen het volgende decennium meer dan 10% zal zijn. Ik geloof dat Anthropic zijn best doet, maar we hebben nog geen plan om de afstemming voor superintelligentie op te lossen en we zijn er ook niet duidelijk op weg naartoe.”
Coxon werd bijgestaan door Samuel Marks, eveneens van Anthropic: “AI-ontwikkelaars geloven dat hun technologie de mensheid zou kunnen uitroeien (of soortgelijke rampzalige gevolgen zou kunnen hebben). Dit zou binnen enkele jaren kunnen gebeuren. Over het algemeen geldt: hoe hoger de functie van een medewerker, hoe groter de bezorgdheid.”
(Zie voor meer informatie de artikelen in de New York Times en op Axios .)

Marks bevestigde ook dat AI-onderzoekers volhardend zijn vanwege “een combinatie van commerciële prikkels en de overtuiging dat ze in een race verwikkeld zijn met andere, minder verantwoordelijke AI-ontwikkelaars die de technologie zullen misbruiken of op een minder veilige manier zullen ontwikkelen.”
Natuurlijk slaan geen van beide motieven ergens op als de wereld werkelijk op het spel staat. Je kunt geen geld uitgeven als je dood bent. Bovendien is het niet erg geruststellend om te denken dat de wereld ten onder zou kunnen gaan door de meest “verantwoordelijke” AI-ontwikkelaars, in tegenstelling tot de onverantwoordelijke. Afgezien van het feit dat ze zichzelf feliciteren met hoe ethisch ze handelen, in welk opzicht is hun gedrag verantwoordelijk?
Als in de wereld van AI-ontwikkeling geldt: hoe hoger de functie van een medewerker, hoe groter de kans dat hij denkt dat AI de mensheid kan vernietigen, wat zegt dat dan over de mensen aan de top? Als een bedrijf zich vol overgave stort op een technologie waarvan ze weten dat die de mensheid kan uitroeien, dan is daar een naam voor: een doodscultus. Wordt AI gedreven door een doodscultus, met name de cultus van het ’transhumanisme’, die ervan droomt de mensheid te overstijgen door middel van technologie? Moet de mensheid daarvoor per se uitsterven?
We hebben dringend een onderzoek nodig naar de verbanden tussen transhumanisme en het streven naar kunstmatige superintelligentie, want de uitroeiing van de mensheid is misschien niet slechts een bijeffect van ASI. Het zou wel eens het doel ervan kunnen zijn. Uiteraard moet de mensheid hierin een stem hebben.
Door de onthullingen van Coxon wordt er opgeroepen om AI-onderzoek te “reguleren” en “af te remmen”. Dit is absurd. Als je de wereld aan het vernietigen bent, rem je niet af; je vult geen overheidsformulieren in; je stopt er gewoon mee.

Daarom hebben we een wereldwijd verbod nodig op het creëren van kunstmatige superintelligentie. Dit verbod moet onvoorwaardelijk zijn, omdat er geen omstandigheden zijn waaronder het veilig is om een wezen te creëren dat onvoorstelbaar veel slimmer en sterker is dan wij.
‘Maar Greg, als ‘wij’ geen ASI bouwen, doen de Chinezen of de Israëliërs het wel.’ Maar wat zou het nut daarvan zijn? Om vijf minuten geopolitiek voordeel te behalen voordat we uitsterven? Als de mensheid zichzelf toch gaat vernietigen, is de beste optie om niet mee te doen aan het proces en te sterven met schone handen en een schoon geweten.
Ik ben echter niet zo fatalistisch. Op dit moment kunnen we de mensheid redden door simpelweg “nee” te zeggen tegen een paar dozijn rijke nerds.
Wat betekent een verbod op ASI voor de rest van de computerindustrie? Eigenlijk vrijwel hetzelfde als nu, al zullen routineverbeteringen en updates niet langer worden aangeprezen als ‘AI’, een concept dat op zich al angst zou moeten inboezemen. Mensen zullen nog steeds amateurvideo’s maken en dol zijn op chatbots. Maar ze zullen ons niet langer subtiel conditioneren om onze eigen ondergang te verwelkomen.
Zodra de ASI-dreiging is geneutraliseerd, zullen we echter nog steeds te maken krijgen met de gevolgen van de snel voortschrijdende automatisering en robotica. Voorstanders van AI beweren dat hun producten de economische groei binnen enkele jaren zullen verhogen tot 10% per jaar. Dat is een vijfvoudige toename. Maar waarop is dat gebaseerd? Zullen we vijf keer zoveel auto’s produceren? Zal de productie van de fysieke onderdelen van auto’s ook vervijfvoudigen? Dat lijkt onwaarschijnlijk.
Productiviteit is de verhouding tussen geld en geproduceerd product. Er zijn dus twee manieren om de productiviteit te verhogen: meer produceren of dezelfde hoeveelheid produceren voor minder geld. Ik denk dat de wilde beweringen over de groei van AI bijna volledig gebaseerd zijn op kostenbesparing, oftewel het vervangen van menselijke arbeid.
Maar, zoals ik betoog in mijn essay ” De robot-hotdogkraam “, zal de huidige, in wezen ongereguleerde drang naar automatisering een enorme economische crisis veroorzaken. Je denkt misschien dat je winst de pan uit rijst zodra machines je werknemers overbodig maken. Maar wie gaat je producten kopen als machines ook je klanten werkloos maken? Net zoals je voormalige werknemers de klanten van iemand anders zullen zijn, zullen je klanten de voormalige werknemers van iemand anders zijn.
In het beste geval is AI pure kwakzalverij, maar aangezien het grootste deel van de huidige economische ‘groei’ in Amerika gebaseerd is op investeringen in AI, betekent dat een zware recessie wanneer de fraude aan het licht komt. Een nog slechter scenario is dat AI zo goed werkt dat miljoenen mensen hun baan verliezen en een zware depressie ontstaat. Het allerergste scenario is dat AI een kunstmatige superintelligentie voortbrengt die de mensheid zal vernietigen. Er is geen goede uitweg, maar we zouden natuurlijk liever een economische depressie hebben dan de uitroeiing van de mensheid.
‘Maar Greg, politici en bureaucraten zijn dom. Je wilt toch niet voorstellen dat zij de regulering van technologie op zich nemen?’ Natuurlijk heb ik liever wijze en intelligente leiders. Maar als we moeten kiezen tussen domheid van het niveau van “landerkenning” en domheid van het niveau van “vernietig de mensheid” of “jaag je klanten weg en betaal jezelf een bonus”, dan zouden we voor het eerste moeten kiezen.
‘Maar Greg, dit klinkt als de talloze bizarre campagnes tegen elke nieuwe technologie: spoorwegen, stoomschepen, auto’s, mobiele telefoons, enzovoort.’ Ja, maar er is een fatale disanalogie: dit zijn allemaal machines die mensen kunnen begrijpen en besturen. Maar kunstmatige superintelligentie zal ons bevattingsvermogen en onze controle te boven gaan.
‘Maar Greg, dit klinkt als weer zo’n doomsday-hoax, net als die over afkoeling en opwarming van de aarde, enzovoort.’ Zeker, maar er zit een fatale zwakte in je analogie: deze dreiging is reëel.
“Maar Greg, de AI-aanval op Hugging Face, die veel doemdenkers over AI aanhalen, was mogelijk opzettelijk.” De problemen met kunstmatige superintelligentie zijn inherent aan de technologie zelf. Nogmaals, het is dwaas om een entiteit te creëren die we niet kunnen begrijpen of controleren. Het incident met Hugging Face is simpelweg irrelevant. (En trouwens, een industrie die bedrijven namen geeft als Hugging Face zou gewoon uit goede smaak moeten worden gesloten.)
“Maar Greg, dit klinkt als de paniek rondom Covid. We kunnen niet toestaan dat de moderne samenleving wordt belemmerd door ‘veiligheidsdenken’.” De Covid-lockdowns en vaccinatiecampagnes waren zo’n beetje het toppunt van ongebreidelde technologische overmoed.
En elk technologiebedrijf dat zich vandaag de dag bezighoudt met AI-onderzoek, was een gretige voorstander en handhaver van het Covid-regime. Het is dan ook verbijsterend om te zien hoe diezelfde bedrijven de rollen volledig omdraaien wanneer het hen uitkomt. Het is bizar om te zien dat Covid-dissidenten erin trappen.
‘Maar Greg, het beperken van AI zou een wereldregering vereisen. Dat wil je toch zeker niet?’ Nee, eigenlijk zou een wereldregering niet nodig zijn, alleen een intergouvernementeel verdrag dat onderzoek naar kunstmatige superintelligentie (ASI) verbiedt. Elke schurkenstaat of individu die zich hieraan schuldig maakt, zou onderworpen kunnen worden aan dezelfde methoden die worden gebruikt om kernwapens tegen te gaan: sancties, geheime liquidaties, zelfs oorlog.
Ik stel voor dat we het het Kaczynski-akkoord noemen, omdat hij ons dat heeft opgedragen.
