‘We geloven echt oprecht dat AI alle mensen zou kunnen uitroeien’: als AI-laboratoria zich zo zorgen maken over de ondergang van AI, waarom stoppen ze er dan niet mee?

Eerder deze week nam onderzoeker Jacob Coxon ontslag bij Anthropic. Hij zei dat het bedrijf en zijn concurrenten ” met onze levens spelen “. “We geloven echt oprecht dat AI alle mensen zou kunnen doden”, voegde huidig ​​Anthropic-onderzoeker Evan Hubinger toe in een bericht op X.

Coxon is niet de eerste die het werk neerlegt uit angst voor een AI-ramp. Het idee dat AI de mensheid zou kunnen uitroeien, zoals naar voren gebracht in Nick Bostroms boek Superintelligence uit 2014 en op het invloedrijke LessWrong -forum, circuleert al lange tijd onder onderzoekers. Er zijn veel scenario’s voor hoe dit zou kunnen gebeuren , maar de kern van het idee is dat AI, slimmer dan mensen, aan onze controle zou kunnen ontsnappen en ons zou kunnen vernietigen.

In 2024 verlieten Jan Leike en Daniel Kokotajlo OpenAI vanwege veiligheidsproblemen. Dit jaar vertrok Mrinak Sharma, hoofd veiligheid bij Anthropic, met de waarschuwing dat ” de wereld in gevaar is “. Alex Turner verliet Google DeepMind nadat het bedrijf een overeenkomst met het Pentagon had gesloten die de ontwikkeling van “killerdrones” mogelijk maakte.

Maar het aftreden van Coxon heeft de gemoederen flink beroerd, en steeds meer onderzoekers geven toe dat ze denken dat AI de mensheid zou kunnen uitroeien. Dus als de mensen die AI ontwikkelen geloven dat het tot uitsterven kan leiden, waarom blijven ze het dan ontwikkelen? Daar zijn drie belangrijke redenen voor.

Sommigen vinden het risico de moeite waard.

Leiders op het gebied van AI erkennen het risico van controleverlies en de vernietiging van de mensheid. In 2023 waren de CEO’s van OpenAI, Anthropic en Google DeepMind het erover eens dat het risico op uitsterven van AI vergelijkbaar is met pandemieën en een nucleaire oorlog. Dario Amodei van Anthropic schat de kans dat het “echt heel erg misgaat” op 10-25% .

Amodei belooft echter ook een wereld zonder armoede of ziekte , terwijl Elon Musk spreekt over door AI mogelijk gemaakte ” universele hoge inkomens “.

Dit is de eerste reden om AI na te streven: de overtuiging dat de voordelen opwegen tegen de risico’s. Misschien is dat zo, maar die beslissing verdient wellicht een meer democratisch proces .

Sommigen zeggen dat je het gevaar niet van een afstand kunt bestuderen.

De tweede reden: je kunt niet leren hoe je gevaarlijke AI veilig maakt zonder het eerst te bouwen – net als bij een ruimtevaartuig kun je de veiligheid wel van afstand bestuderen, maar je kunt het niet echt testen zonder de ruimte in te gaan.

Het plan van OpenAI is “iteratieve implementatie”: elk model wordt uitgebracht, er wordt geleerd van de problemen en die worden in het volgende model opgelost . Het idee is vergelijkbaar met zo dicht mogelijk bij de rand van een klif komen om te zien hoe de sprong eruitziet.

Sommigen denken dat het een alles-of-niets-spel is.

De derde en misschien wel belangrijkste reden is de race. Sam Altman van OpenAI zei onlangs: “We staan ​​op het punt een geest uit een fles te creëren die elke wens kan vervullen.”

Het probleem is dat iedereen de lamp in handen wil hebben – het zou enorm winstgevend zijn – en elk bedrijf twijfelt aan het oordeel van de concurrenten om hun wensen verstandig te gebruiken.

Ze racen dus, redenerend dat als ze vaart minderen, er toch wel iemand anders aankomt, dus is het beter om als “verantwoordelijke” als eerste aan te komen. Sommigen vrezen zelfs dat een onderlinge afspraak in het geheim verbroken zou worden. Dus geven ze gas.

AI maakt betere AI

Je twijfelt misschien aan de haalbaarheid van een ongecontroleerde AI. Maar als de bedrijven zelf aan de alarmbel trekken, moeten we luisteren.

AI-bedrijven melden al tekenen van ” recursieve zelfverbetering “, waarbij elk model bijdraagt ​​aan de ontwikkeling van een betere opvolger. Volgens de hoofdwetenschapper van OpenAI verbeteren modellen sneller dan mensen ze kunnen beheersen .

In juli ondertekenden honderden AI-medewerkers een open brief waarin ze opriepen tot een vertraging. Maar de dynamiek van de race maakt het voor geen enkel bedrijf – of land – mogelijk om dat alleen te doen.

Een klassieke wapenwedloop

AI-onderzoek vertoont alle kenmerken van een wapenwedloop. OpenAI wil niet verliezen van Anthropic, en de Verenigde Staten willen niet verliezen van China.

De geschiedenis biedt een blauwdruk voor hoe een dergelijke situatie aangepakt kan worden, met regels die alle betrokkenen binden en een handhaving die iedereen kan controleren .

Kernwapens zijn daarvan het klassieke voorbeeld. Verdragen en verificatiesystemen hebben het risico op een kernoorlog niet volledig weggenomen, maar ze hebben de verspreiding wel afgeremd, en er is al 80 jaar geen kernwapen meer in een conflict gebruikt.

Regels voor AI

In de VS, waar het meeste baanbrekende AI-onderzoek plaatsvindt, laat de regering-Trump weinig tekenen zien dat ze de ontwikkeling van AI wil afremmen.

In de eerste week schrapte het de oude veiligheidsregels voor AI . Nu probeert het de regels op staatsniveau te omzeilen, met het argument dat voorzichtigheid het risico met zich meebrengt dat China de race verliest.

Sommige politici verzetten zich hiertegen. Californië heeft onlangs wetten aangenomen die onafhankelijke beoordeling van AI-systemen ondersteunen. De Amerikaanse senator Bernie Sanders diende een wetsvoorstel in om superintelligentie te verbieden , en het Britse parlementslid Alex Sobel diende een soortgelijk wetsvoorstel in .

Ook bedrijven hebben actie ondernomen. OpenAI heeft zijn meest geavanceerde training stopgezet nadat een zwerm van hun agents in augustus een andere startup had gehackt. Het hoofd beleid van het bedrijf zegt nu dat wanneer veiligheid en snelheid met elkaar in conflict komen, veiligheid voorrang moet krijgen .

Toch zijn we, zonder bindende regels, sterk afhankelijk van de goede wil van een handvol bedrijven.

Wat gebeurt er nu?

Halverwege 2025 publiceerden onderzoekers wat wellicht onze beste leidraad voor de komende jaren is: een gedetailleerd scenario genaamd AI 2027. Sindsdien zijn de mogelijkheden van AI sneller geëvolueerd dan voorspeld .

Tenzij er iets verandert, zullen medewerkers die vanwege veiligheidsredenen ontslag nemen simpelweg worden vervangen, zullen AI-modellen helpen bij het bouwen van betere AI-modellen, en zal elke generatie moeilijker te monitoren en te controleren zijn.

Is de situatie hopeloos? Ik heb drie hoopvolle vooruitzichten.

Ten eerste beseffen steeds meer mensen dat het risico groter is dat AI de menselijke controle ontglipt dan het waterverbruik van AI.

Ten tweede, dat regeringen naar hun bevolking luisteren. In de VS zegt twee derde dat AI zich te snel ontwikkelt .

Ten derde, dat we een goed plan klaar hebben voordat een crisis toeslaat. Het beste plan ziet er naar mijn mening ongeveer zo uit : vertragingen, transparantie en verificatie om de race te vertragen en de mens de controle te laten behouden.

Medewerkers van ’s werelds grootste AI-bedrijven zeggen dat ons huidige veiligheidsplan niet toereikend is. Als zij hun baan opzeggen vanwege veiligheidszorgen, moeten we naar hen luisteren.