De waarschuwing van onderzoeker Jacob Coxon over de existentiële dreiging die AI vormt, zette een hele reeks andere medewerkers van Anthropic, DeepMind en OpenAI ertoe aan om de alarmklokken te luiden die AI-critici al lange tijd luiden.
Op dinsdag startte de 27-jarige AI-onderzoeker Jacob Coxon een Twitter-thread die een online storm van reacties ontketende en al snel de krantenkoppen en het nieuws domineerde. “Ik heb vandaag ontslag genomen bij Anthropic”, begon hij. “Ik heb de afgelopen drie jaar onderzoek gedaan naar pretraining bij zowel OpenAI als Anthropic.
Geen van beide bedrijven handelt verantwoordelijk. Ze racen rechtstreeks naar zelfverbeterende superintelligentie en spelen met onze levens.” Coxon waarschuwde vervolgens voor de existentiële dreiging die AI-systemen vormen en zei dat de mensen die aan AI werken “serieus” geloven dat de technologie ons allemaal zou kunnen doden tegen het einde van dit decennium.
Woensdagavond legde hij aan Anderson Cooper van CNN uit dat hij niet bang is voor wat de modellen nu al kunnen, maar voor het idee dat AI gebruikt zal worden om “zichzelf intelligenter te maken”. Geoffrey Hinton, de zogenaamde “peetvader van AI”, zei diezelfde dag in BBC Newsnight dat een kans van 10% dat AI de mensheid zal uitroeien een redelijke schatting is.
Misschien wel het meest opmerkelijke waren de reacties van mensen die momenteel bij grote AI-bedrijven werken. Een lange lijst van hen, waaronder sommigen met functiebeschrijvingen waarin het woord ‘veiligheid’ voorkomt, was het eens met Coxons waarschuwing alsof ze de gevaren al lang kenden en het voor zich hadden gehouden. Dat roept de vraag op: waarom hebben jullie hier zo lang over gedaan? En hoe erg is het eigenlijk?
Hier zijn 9 vooraanstaande AI-onderzoekers en -managers, waaronder Coxon, die de afgelopen 72 uur plotseling naar voren zijn getreden om de alarmklokken te luiden die critici van AI al langer luiden. Kijk maar eens wat ze zeggen!
Evan Hubinger@EvanHubEvanHub
Jacob heeft hier gelijk: we geloven echt dat AI alle mensen zou kunnen uitroeien! Ik denk persoonlijk dat de kans daarop binnen het volgende decennium groter is dan 10%. Ik geloof dat Anthropic zijn best doet, maar we hebben nog geen plan om de afstemming voor superintelligentie op te lossen en we zijn er ook niet duidelijk op weg naartoe.
Jacob Coxon @hilbertspaesshilbertspaess
De mensen die aan AI werken, geloven oprecht dat het ons allemaal zou kunnen uitroeien tegen het einde van dit decennium. Dit is geen marketingtruc. Sterker nog, veel managers en senior onderzoekers zullen hun woorden in de pers zo formuleren dat ze verstandig overkomen, maar ik hoor diezelfde mensen hun angst uiten.
Is het als leider van het afstemmingsonderzoek niet zijn taak om leiding te geven aan het opstellen van het afstemmingsplan? Misschien waren er wel belangrijkere zaken die zijn werktijd in beslag namen.
Anna Wang@ a_nnawanga_nnawang
Ik heb bij Google DeepMind gewerkt en werk nu bij Anthropic. Dit is een veelvoorkomende mening onder mijn collega’s. (Ik schrijf dit uit persoonlijke overwegingen.) Er bestaat nog geen haalbaar wetenschappelijk plan om de risico’s van recursief zelfverbeterende AI op te lossen. Kijk eens omhoog
Jacob Coxon @hilbertspaesshilbertspaess
Ik heb vandaag mijn ontslag ingediend bij Anthropic. De afgelopen drie jaar heb ik onderzoek gedaan naar pretraining bij zowel OpenAI als Anthropic. Geen van beide bedrijven handelt verantwoordelijk. Ze stevenen rechtstreeks af op zelfverbeterende superintelligentie en spelen met onze levens. Meer hierover hieronder.
Bedankt voor de waarschuwing, maar hoe kun je dit in je persoonlijke hoedanigheid schrijven als je in de eerste zin zowel je huidige als je voormalige werkgever noemt? En draag je dan geen enkele “persoonlijke” verantwoordelijkheid voor deze puinhoop?
Ik weet niet hoe groot de kans is dat we letterlijk uitsterven, maar ik denk dat er een aantal manieren zijn waarop AI slecht kan uitpakken voor de mensheid. In het huidige, ronduit angstaanjagende tempo zal de mensheid heel veel geluk hebben als we erin slagen het smalle pad tussen al die slechte scenario’s te vinden en te bewandelen…
Evan Hubinger @ EvanHubEvanHub
Jacob heeft hier gelijk: we geloven echt dat AI alle mensen zou kunnen uitroeien! Ik denk persoonlijk dat de kans daarop binnen het volgende decennium groter is dan 10%. Ik geloof dat Anthropic zijn best doet, maar we hebben nog geen plan om de afstemming voor superintelligentie op te lossen en we zijn er ook niet duidelijk op weg naartoe.
Letterlijke uitsterving is mogelijk, maar hij is “bemoedigd” door een bedrijf dat grotendeels verantwoordelijk is voor de mogelijkheid van die letterlijke uitsterving.
Bedankt voor het lezen. Al mijn content blijft altijd gratis beschikbaar, maar als je mijn werk wilt steunen, kun je dat doen klik op Paypall en een nieuwe pagina wordt geopend. >>hier>>Paypall . Likes, shares en reacties helpen ook enorm.
Drake Thomas@MaskedTorahMaskedTorah
Ik zou mijn aandelen zonder aarzeling opofferen voor maar 1% meer kans dat we deze situatie overleven. Ik verwacht dat veel van mijn collega’s in de branche dat ook zouden doen. Geloof me, we zijn gewoon doodsbang, het is geen geniale marketingtruc.
Als hij en zijn collega’s hun aandelen volledig zouden verkwisten, denk je dan dat ze dat ook zullen doen wanneer de geplande beursgang van Anthropic miljarden oplevert?
Alex Turner@ Turn_TroutTurn_Trout
Ik ben in juni bij Google DeepMind vertrokken. Jacob heeft gelijk: veel onderzoekers geloven dat ze iets aan het bouwen zijn dat iedereen op aarde zou kunnen uitroeien. Het was letterlijk mijn dagtaak om na te denken over hoe we dat konden voorkomen.
Jacob Coxon @hilbertspaesshilbertspaess
De mensen die aan AI werken, geloven oprecht dat het ons allemaal zou kunnen uitroeien tegen het einde van dit decennium. Dit is geen marketingtruc. Sterker nog, veel managers en senior onderzoekers zullen hun woorden in de pers zo formuleren dat ze verstandig overkomen, maar ik hoor diezelfde mensen hun angst uiten.
Kennelijk heeft hij nooit een manier gevonden om dat te stoppen.
Geoffrey Irving@geoffreyirvinggeoffreyirvin
Ik denk dat er ongeveer 50% kans is dat we allemaal omkomen als gevolg van superintelligentie, voornamelijk door acties in de komende paar tot tien jaar. Ik verwacht niet dat die kans zal dalen tot onder de 10% of stijgen tot boven de 90% voordat we het overleven, of niet. We zullen moeten handelen ondanks de onzekerheid.
Waarschijnlijk bedoelt hij met “we zullen ondanks de onzekerheid moeten handelen” dat “we de hele mensheid op het spel zetten met een muntje opgooien”.
Marcus Williams@Marcus_J_WMarcus_J_W
Tenzij er regelgeving komt voor AI of laboratoria gezamenlijk de ontwikkeling ervan vertragen, lijkt het uitsterven van de mensheid binnen enkele jaren zeer waarschijnlijk.
Hij werkt voor een bedrijf dat miljoenen uitgeeft aan lobbywerk tegen strengere regelgeving voor AI.
Andreas Kirsch 🇺🇦@ BlackHCBlackHC
Ik spreek uit persoonlijke ervaring: ik werk nog steeds bij Google DeepMind en ik maak me ook zorgen dat AI ons allemaal zal uitroeien, hetzij door risico’s op korte of lange termijn, of beide. Zal het openlijk uiten van deze mening me in (meer) problemen brengen? Ik hoop van niet, maar sommige dingen zijn te belangrijk om…
Vishal Maini @ v_mainiv_maini
Ik maakte van 2018 tot 2022 deel uit van het communicatie- en beleidsteam van Google DeepMind. Toen ik bij GDM begon, was externe communicatie over de mogelijkheid van menselijke uitsterving door niemand, op geen enkel niveau binnen de organisatie, toegestaan. Als onderzoekers naar existentiële risico’s werden gevraagd, gaven ze geen antwoord.
Zal dit me “nog meer problemen opleveren”? Jazeker, want dat is wat er hier op het spel staat, toch?
Bedankt voor het lezen. Al mijn content blijft altijd gratis beschikbaar, maar als je mijn werk wilt steunen, kun je dat doen klik op Paypall en een nieuwe pagina wordt geopend. >>hier>>Paypall . Likes, shares en reacties helpen ook enorm.