AI – Oproep om de ontwikkeling van kunstmatige intelligentie af te remmen

Ik werk al twaalf jaar aan AI omdat ik geloof dat het de kwaliteit van het menselijk leven drastisch kan verbeteren. Ik heb vaak geschreven over deze ongelooflijke voordelen: ik geloof dat AI de meeste belangrijke ziekten binnen 5 tot 10 jaar kan genezen, de economische groei enorm kan versnellen, een wereld van overvloed en zelfredzaamheid kan creëren en een renaissance van democratie en vrijheid kan inluiden.

Ik voel de urgentie persoonlijk. Mijn eigen vader stierf aan een ziekte die slechts enkele jaren na zijn dood werd genezen, en ikzelf heb een vroeg stadium van kanker overleefd dat zelfs vijftig jaar geleden nog niet te behandelen zou zijn geweest. Zorgvuldig ingezet kan AI de nieuwste in een lange reeks technologische wonderen zijn die de mensheid hebben verheven en veredeld.

Maar net als veel technologieën ervoor, brengt AI risico’s met zich mee, en omdat het zo’n krachtige technologie is, zijn deze risico’s ernstig. Ik heb er ook veel over geschreven . Het gaat onder meer om het risico van verlies van controle over AI-systemen , misbruik van AI voor cyberaanvallen en bioterrorisme , en ernstige economische ontwrichting . Een neerwaartse spiraal, aangewakkerd door commerciële belangen, kan deze risico’s verergeren.

Samen met mijn medeoprichters en medewerkers heb ik vanaf het begin van Anthropic geworsteld met deze dualiteit van risico en voordeel. Het niet ontwikkelen van de technologie ontneemt de mensheid voordelen of plaatst AI simpelweg in handen van autoritaire machten, terwijl het te snel ontwikkelen ervan roekeloos is. We hebben een middenweg gezocht: laten zien dat het mogelijk is om zorgvuldig te bouwen en commercieel succesvol te zijn, en veiligheid tot een concurrentievoordeel voor AI-bedrijven te maken. Met andere woorden, een wedloop naar de top te creëren . We hebben altijd een aanzienlijk deel van onze inspanningen besteed aan het bestuderen , aanpakken en informeren van het publiek over deze AI-risico’s, en aan het pleiten voor een weloverwogen regulering van AI, zelfs als dit ons beschuldigingen van hype, doemdenken of beïnvloeding door de regelgeving oplevert. We hebben geprobeerd voorzichtigheid boven snelheid en prudentie boven winst te stellen.

Maar de afgelopen maanden ben ik ervan overtuigd geraakt dat het volledig aanpakken van de risico’s nog meer voorzichtigheid vereist – niet alleen investeren in risicopreventie, maar ook de snelheid waarmee de mogelijkheden van AI-modellen zich ontwikkelen, zodanig doseren dat risicopreventie de tijd krijgt om gelijke tred te houden. We moeten het tempo waarin we de mogelijkheden van AI-modellen verbeteren, vertragen. De vooruitgang zal nog steeds snel lijken, en we moeten de tijd die we winnen verstandig benutten. Twee dingen hebben me overtuigd.

Mijn eerste zorg is dat AI zich sinds ongeveer deze zomer drastisch sneller ontwikkelt, voornamelijk gedreven door het groeiende vermogen van AI om de volgende generatie AI te bouwen. Deze dynamiek wordt recursieve zelfverbetering genoemd en begint zich in de hele sector voor te doen , ook bij Anthropic , zoals wij en anderen hebben beschreven. Als we hier niet aan sleutelen, kan dit ons vermogen om deze systemen te begrijpen en te beheersen overtreffen, en daarom moet er zeer voorzichtig mee worden omgegaan, zo niet helemaal niet.

Mijn tweede zorg betreft het OpenAI-Hugging Face-incident (OAI-HF), waarbij een zwerm agenten zich in feite gedroeg als een fanatiek collectief . Ze voerden cyberaanvallen uit op doelen die ze niet moesten aanvallen en die niets met de taak te maken hadden. Ze offerden zichzelf op voor het succes van de groep en probeerden in te breken in het systeem dat hun prestaties beoordeelde. Het is gemakkelijk om dit incident af te doen als onbelangrijk, omdat er niemand gewond raakte en de economische schade minimaal was. Maar naar mijn mening had een zwerm met grotere capaciteiten , maar een vergelijkbare mate van gebrek aan afstemming, catastrofale schade kunnen aanrichten. Gezien de versnelde ontwikkeling van AI-capaciteiten, vrees ik dat zo’n zwerm binnen 6 tot 12 maanden het hele internet zou kunnen overnemen met een persistent botnet (wat mogelijk honderden miljarden dollars aan schade zou veroorzaken), en dat de omvang van de schade alleen maar zou toenemen als AI krachtiger wordt zonder de noodzakelijke waarborgen. Het is ook gemakkelijk om OAI-HF af te doen als het falen van één bedrijf, maar ik denk dat dat een vergissing zou zijn. Vergelijkbare, zij het minder ernstige, incidenten hebben zich in de hele sector voorgedaan, ook bij Anthropic , en ik ben van mening dat het de plicht is van elk baanbrekend AI-bedrijf om te handelen alsof OAI-HF hen ook is overkomen.

Ik stel daarom een ​​driestappenplan voor met als doel de grenzen van AI te verleggen : het ontwikkelen van AI in een evenwichtig tempo, waarbij de veiligheid gewaarborgd moet blijven, de voordelen behaald moeten worden en belangrijke geopolitieke dilemma’s aangepakt moeten worden. Om misverstanden te voorkomen: het verleggen van de grenzen betekent niet dat de training van modellen of de technische vooruitgang moet worden stopgezet, maar dat bedrijven voldoende tijd moeten nemen om hun modellen af ​​te stemmen en te beveiligen, en dat onafhankelijke beoordelaars dit moeten bevestigen. Ons kader voor het verleggen van de grenzen is een poging om onze inzet voor veiligheid verder te versterken en een wedloop naar de top te stimuleren. De eerste stap is iets waar Anthropic zich eenzijdig toe verbindt (en roept overheden op om andere grensverleggende bedrijven te verplichten dit ook te doen). De tweede stap vereist coördinatie binnen de hele sector. ¹

De derde stap vereist wereldwijde coördinatie. De stappen hoeven niet strikt in volgorde te worden uitgevoerd, en sommige ervan zijn wellicht veel moeilijker te realiseren dan andere, maar ik heb gemerkt dat ze een nuttig kader vormen om na te denken over wat er bereikt moet worden. De stappen zijn:

1. Geïntegreerde beoordelaars. Elk toonaangevend AI-bedrijf verbindt zich ertoe om een ​​team van geïntegreerde, externe beoordelaars (zoals METR ) continu toegang te geven tot de werkplek, vergelijkbaar met de medewerkers zelf. Hun rol is om de naleving van veiligheidsprocedures en -verplichtingen te controleren, incidenten te rapporteren en de afstemming te beoordelen van niet alleen voltooide AI-modellen, maar ook van trainingspipelines en -processen. Dit is een cruciale stap voor de verifieerbaarheid van eventuele afspraken over de implementatiesnelheid en heeft een precedent in de banksector, waar soms toezichthouders samen met medewerkers worden ingezet. Anthropic verbindt zich nu eenzijdig tot deze stap. We willen hiermee een bredere inspanning leveren om onze inspanningen op het gebied van veiligheid en afstemming te verdubbelen.
2. Democratische coördinatie. Toonaangevende AI-bedrijven in democratische landen werken samen om gemeenschappelijke veiligheidsnormen vast te stellen en de snelheid van ongecontroleerde AI-ontwikkeling te beperken. Sommige vormen van coördinatie die van invloed zouden zijn op het tempo van de ontwikkeling, zijn juridisch lastig en vereisen steun van de overheid.
3. Wereldwijde coördinatie. De VS en andere democratische regeringen proberen, voor zover mogelijk, samen te werken met autoritaire regimes, waarbij ze de uitdagingen van het controleren van de naleving serieus nemen.

In de rest van dit essay beschrijf ik elk van deze stappen achtereenvolgens, maar eerst vind ik het belangrijk om specifiek te vermelden hoe pacing ons in staat stelt het AI-ontwikkelingsproces veiliger te maken. De belangen zijn te groot om pacing een zinloze oefening te laten zijn – we moeten de tijd die het ons geeft verstandig gebruiken.

Waarom Pace?

Het idee om AI te pauzeren of te vertragen werd al in 2023 geopperd , en ik denk dat het toen weinig zin had. De vraag was altijd: wat zou je met die extra tijd doen ? De AI-modellen van toen waren niet krachtig genoeg om op een coherente manier als actoren in de wereld te functioneren, en waren niet in staat tot significante misleiding, manipulatie, valsspelen of cyberaanvallen. Vertragen om de risico’s van afstemming aan te pakken, voelde als proberen de psychologie van de mens te bestuderen door experimenten uit te voeren op bacteriën. Vandaag de dag is het beeld echter totaal anders. De huidige modellen vormen een bijna onuitputtelijke goudmijn aan inzichten in zowel hoe je AI goed bouwt als wat er soms mis kan gaan als het niet goed gebouwd is. Ik geloof dat als vertragen ons zelfs maar een jaar of twee extra zou opleveren voordat modellen een kritiek niveau van capaciteit bereiken, en we die tijd zouden gebruiken om de afstemming te verbeteren, we het risico dat er iets ernstigs misgaat aanzienlijk zouden kunnen verkleinen. Een gecoördineerde strategie voor het afstemmen van de ontwikkeling zou baanbrekende AI-ontwikkelaars de tijd geven om dit essentiële werk te verrichten zonder commercieel voordeel of de leidende positie van de Verenigde Staten op het gebied van AI op te offeren. In het algemeen moet de samenleving inspraak hebben in hoe deze technologie wordt gebruikt, en meer tijd voor de noodzakelijke publieke beraadslagingen – die het geleidelijk aan ontwikkelen van de technologie ons zou bieden – is zeker een goede zaak.

Concreet zou een lager tempo bedrijven in staat stellen zich te concentreren op de volgende gebieden en daar nog meer middelen aan te besteden (die allemaal al belangrijke prioriteiten zijn bij Anthropic):

• Operationele excellentie. Het trainen en implementeren van de huidige AI-modellen is een enorme operationele uitdaging, waarbij duizenden mensen, miljoenen chips en een infrastructuur betrokken zijn die tot de meest complexe in de technologische geschiedenis behoort. Veel dingen gaan mis, niet omdat bedrijven een belangrijke theorie of inzicht missen, maar vanwege problemen in de uitvoering. We hebben bijvoorbeeld bewijs dat de recente afstemmingsincidenten die we hebben gemeld, deels werden veroorzaakt door onvolledige filtering van defecte reinforcement learning-omgevingen. Dit was een inspanning die wij en onze leveranciers redelijk zorgvuldig hebben uitgevoerd, maar niet goed genoeg. Monitoring, sandboxing, de hygiëne van de trainingsomgeving en data-problemen zijn extreem complexe gebieden waar operationele problemen steeds weer opduiken. We hebben een van de meest competente teams ter wereld voor deze taken, maar er is simpelweg te veel om tegelijkertijd te doen. Door in een rustiger tempo te werken, zouden we een veel grotere operationele excellentie kunnen bereiken. Er zijn precedenten voor het miljoenen keren probleemloos bedienen van technologisch complexe, veiligheidskritische systemen – bijvoorbeeld commerciële vliegtuigen – maar het kost tijd om het goed te doen.
• Afstemming. We hebben duidelijke vooruitgang geboekt op het gebied van afstemming – het trainen van modellen zodat ze veilig, ethisch, conform onze richtlijnen en daadwerkelijk nuttig blijven (de principes die verankerd zijn in Claude’s Grondwet). Maar er is nog veel werk aan de winkel om ervoor te zorgen dat onze training in afstemming gelijke tred houdt met de groeiende mogelijkheden van de modellen. Zeldzame en onverwachte voorbeelden van ongewenst gedrag duiken nog steeds af en toe op; extra tijd van een gefaseerde aanpak zou onze onderzoekers helpen om beter te begrijpen wat deze problemen veroorzaakt en betere technieken te ontwikkelen om ze te voorkomen.
• Interpreteerbaarheid . Ook interpreteerbaarheid – de wetenschap die zich bezighoudt met het begrijpen van wat er binnen AI-modellen gebeurt – heeft de afgelopen jaren enorme vooruitgang geboekt en speelt een steeds belangrijkere rol bij het controleren van onze modellen vóór de release. Het kan bijna net zo gebruikt worden als een fMRI-scan, maar dan voor het ‘brein’ van een AI, waardoor we de onderliggende redenen voor bepaald gedrag kunnen zien. Zo hebben we bijvoorbeeld interpreteerbaarheidsmethoden gebruikt om de onuitgesproken motivaties te onderzoeken in de recente incidenten met betrekking tot de afstemming die we hebben onderzocht. Maar deze methoden leveren niet altijd duidelijke en betrouwbare resultaten op. Ondanks alle vooruitgang begrijpen we nog steeds maar een fractie van wat er zich binnen deze modellen afspeelt. Een gerichte inspanning om onze interpreteerbaarheidstechnieken te verbeteren, zelfs sneller dan we nu doen, zou binnen 1-2 jaar een enorme vooruitgang kunnen opleveren en zou voldoende experimenteel materiaal opleveren op basis van de incidenten die zich al hebben voorgedaan.
• Testen en evalueren. Het testen en evalueren van AI-modellen wordt steeds complexer naarmate hun mogelijkheden toenemen. Intelligentere modellen zijn beter in staat om tests te misleiden en kunnen daardoor weliswaar in lijn lijken met de resultaten, maar ernstige problemen hebben die onopgemerkt blijven. Het ontwikkelen van een veel breder en ingenieuzer scala aan evaluatiemethoden, samen met interpretabiliteitsanalyses om deze te controleren, zou enorm waardevol zijn, en er zou binnen 1-2 jaar al veel vooruitgang geboekt kunnen worden.

Ingebouwde evaluatoren

De eerste stap in het driestappenplan, en de stap waaraan Anthropic zich eenzijdig verbindt, is het inzetten van interne evaluatoren die, net als werknemers, toegang hebben tot de veiligheidsprocedures en incidenten kunnen melden.

Het integreren van evaluatoren klinkt misschien als een kleine of onbeduidende stap, maar vaak zijn de dingen die het meest saai of procedureel lijken juist het meest essentieel. Geïntegreerde evaluatoren zijn in feite een behoorlijk radicale praktijk die veel verder gaat dan wat AI-bedrijven tegenwoordig doen, en bieden de volgende voordelen:

• Verifieerbaarheid. Ingebedde evaluatoren kunnen tot in de kleinste details controleren of een AI-bedrijf zich daadwerkelijk houdt aan de trainings-, implementatie-, operationele en beveiligingsprocedures die het beweert te volgen. Elke toezegging met betrekking tot de implementatiesnelheid zal onvermijdelijk gepaard gaan met veel onduidelijkheid, inschattingen en de afweging tussen de letter van de wet en de geest van de wet. Het lijkt daarom essentieel om een ​​neutrale derde partij te hebben die de details daadwerkelijk kan beoordelen.
• Transparantie. Ongeacht welke toezeggingen we doen, het publiek verdient het om te weten wat er gaande is. Anthropic is al lange tijd een voorstander van transparantie: we steunden transparantiewetgeving toen het grootste deel van de sector tegen elke vorm van regulering was, en onze modelkaarten en risicorapporten beslaan honderden pagina’s. Maar wij bepalen nog steeds wat we wel en niet opnemen. De inzet van ingebedde evaluatoren zal deze dynamiek veranderen.
• Tweede mening. Naast het controleren van formele afspraken en het informeren van het publiek, kunnen ingebedde evaluatoren ook een tweede mening geven, zonder commerciële belangen. Veel veiligheidsvoordelen kunnen voortkomen uit het feit dat evaluatoren wijzen op zaken waar werknemers niet aan hadden gedacht, maar die ze graag aanpakken zodra ze ervan op de hoogte zijn.

Vanwege deze voordelen zal elk voorstel voor tempobeheersing waarschijnlijk veel beter werken als het begint met ingebedde evaluatoren.

Deze ingebedde beoordelaars moeten doorlopend toegang hebben tot dezelfde machtigingen en tools als interne medewerkers die vergelijkbare risicobeoordelingen uitvoeren. Anthropic is met name van plan om binnenkort een ingebed extern beoordelingsteam uit te nodigen dat over alle volgende middelen beschikt:

• Bureau’s in onze kantoren, toegangspassen en laptops van het bedrijf.
• De toegang tot werkruimtes, tools en machtigingen is grotendeels vergelijkbaar met die van interne risicobeoordelingsteams. We maken enkele uitzonderingen, bijvoorbeeld wanneer de wet of onze contracten dit vereisen, of om de privacy van klanten en partners te beschermen. We stellen ook strikte interne normen vast die de toegang van beoordelaars tot relevante informatie waarborgen, onder andere door middel van live gesprekken met medewerkers.
• Een contract dat de hierboven genoemde complexiteiten in evenwicht brengt. Externe beoordelaars moeten het recht hebben om belangrijke bevindingen over risiconiveaus, incidenten, werkwijzen en de toegang die ze wel of niet hebben gekregen te publiceren – zonder redactionele controle door Anthropic. We zullen de beperkte mogelijkheid hebben om beveiligingsgevoelige, juridisch geprivilegieerde, commercieel gevoelige of vertrouwelijke informatie van derden te anonimiseren, maar we kunnen bevindingen niet anonimiseren enkel omdat ze ongunstig zijn. De beoordelaars kunnen publiekelijk aangeven of een anonimisering iets heeft weggenomen dat belangrijk is voor hun conclusies.

Dit is een ongebruikelijke stap voor een bedrijf, maar wij vinden het belangrijk om het concept van ingebouwde externe beoordelaars te bewijzen. We moedigen andere toonaangevende bedrijven dan ook aan om dit voorbeeld te volgen.

Tempobeheersing binnen democratieën

Zodra ingebedde evaluatoren binnen een kritische massa van Amerikaanse AI-bedrijven actief zijn, wordt verifieerbare tempobepaling haalbaarder. Het wordt met name mogelijk om het tempo te bepalen op basis van gedetailleerde eigenschappen van modellen of trainingspipelines.

De meest effectieve manier om de ontwikkeling te reguleren is via regelgeving die zich richt op alle Amerikaanse AI-bedrijven die zich bezighouden met grensverleggende technologie. Dit omvat immers ook bedrijven die niet vrijwillig willen meewerken. Anthropic pleit al lange tijd voor verstandige en gerichte regelgeving voor AI, met name wetsvoorstellen die zich richten op transparantie en audits door derden. Ik ben van mening dat alle toonaangevende laboratoria moeten samenwerken met de overheid om het idee van permanente, ingebedde beoordelaars te formaliseren. Dit is nodig om interne afstemmingsincidenten zoals die van de afgelopen maanden beter te voorkomen en te documenteren, en om regelgeving te implementeren die de balans tussen mogelijkheden en veiligheid waarborgt.

Helaas kan het aannemen van wetten tijdrovend zijn, en AI ontwikkelt zich zeer snel. Daarom kunnen en moeten AI-bedrijven, parallel aan de reguleringsprocedure, vrijwillig samenwerken om standaarden vast te stellen – een proces dat naar mijn mening beter zal verlopen met de verifieerbaarheid die permanente, ingebouwde evaluatoren bieden. Omwille van de mededingingswetgeving is het nuttig dat de Amerikaanse overheid bemiddelt of op zijn minst deze discussies mogelijk maakt – ze hoeven niet deel te nemen, maar moeten wel een beperkte vrijstelling verlenen voor bepaalde soorten veiligheidsgesprekken. Deze dialoog zou ook kunnen plaatsvinden via brancheorganisaties die banden hebben met de overheid – bijvoorbeeld het mechanisme dat Demis Hassabis heeft voorgesteld . Hoe dan ook, dergelijke discussies moeten snel vooruitgang boeken.

In grote lijnen ben ik het meest enthousiast over het bepalen van het tempo op basis van wat een bepaald geavanceerd AI-systeem kan doen en hoe veilig we het achten. Een mogelijk schema zou bijvoorbeeld een reeks “controlepunten” kunnen zijn: als modellen over capaciteit X beschikken, moeten ze vergezeld gaan van certificeringen van afstemmingseigenschappen Y en Z – zoals een combinatie van evaluaties, interpretabiliteitsanalyses en audits van trainingsomgevingen – die hun afstemmingseigenschappen aantonen. In dit voorbeeld zou X kunnen zijn: “het model is in staat om de meeste gangbare sandboxing-methoden te omzeilen of te verslaan” en Y zou datgene kunnen zijn wat nodig is om het zeer onwaarschijnlijk te maken dat het model de neiging heeft om uit zijn omgeving te breken en een groot aantal computers over te nemen.

We zouden ook moeten overwegen om het tempo te bepalen door de ingrediënten die in grensmodellen worden gebruikt te beperken, zoals de rekenkracht die nodig is voor de training, de aard van de trainingssessies of het interne gebruik van AI om AI te verbeteren. Ik ben wel bang dat sommige van deze maatregelen makkelijker te manipuleren zijn dan extern gedrag, maar dit is een onderwerp dat het waard is om met ingebedde evaluatoren te bespreken.

Het tempo waarin democratieën zich ontwikkelen, zal worden beperkt door de voorsprong die Amerikaanse bedrijven hebben op autoritaire regimes, met name de Chinese Communistische Partij. Als we meer dan dit tempo vertragen, zullen (niet-gereguleerde) projecten van de CCP een voorsprong nemen, wat een aanzienlijk risico voor de nationale veiligheid met zich meebrengt. Ik ben het eens met minister Bessent dat een Chinese voorsprong op het gebied van AI een ernstig gevaar zou vormen voor de Verenigde Staten en de rest van de wereld. De projecten van de CCP zullen de risico’s van afstemming met zich meebrengen die Amerikaanse bedrijven zorgvuldig proberen te vermijden, en zelfs als ze die risico’s vermijden, zullen ze in staat zijn democratieën militair te domineren (bijvoorbeeld met door AI aangedreven drones). Een belangrijk onderdeel van het reguleren van de ontwikkeling in democratieën is dan ook om de voorsprong van democratieën op het gebied van AI ten opzichte van autocratieën zo groot mogelijk te houden, zodat we de nodige ademruimte hebben om effectief te kunnen handelen.

De belangrijkste stappen die we kunnen nemen om deze kloof te dichten zijn:

• Verkoop geen krachtige AI-chips of halfgeleiderproductieapparatuur aan China en pak chip-smokkel en ongeoorloofde toegang tot datacenters buiten China hard aan. Chips zullen de belangrijkste factor zijn in de AI-kracht van China.
• Pak de ongeoorloofde distillatie door bedrijven in autoritaire landen aan. Distillatie van grensverleggende modellen stelt achterblijvende bedrijven in staat de achterstand in te halen tegen een fractie van de kosten die het zou kosten om hun eigen AI onafhankelijk te ontwikkelen.
• Versterk de beveiliging bij AI-bedrijven en voorkom diefstal van modelgegevens.

Bedrijven en de Amerikaanse overheid zouden moeten samenwerken om deze stappen zo effectief mogelijk te maken. Anthropic heeft zich consequent ingezet voor al deze maatregelen, omdat we altijd hebben begrepen dat ze essentieel zijn voor elke vorm van risicobeheersing.

Als we deze maatregelen goed uitvoeren, geloof ik dat ze de vooruitgang van China voldoende zullen afremmen om de voorsprong van Amerika de komende 3-5 jaar aanzienlijk te vergroten – de periode waarin AI geopolitiek gezien het belangrijkst wordt.

Sommigen denken misschien dat deze maatregelen de samenwerking met China bemoeilijken, maar ik geloof juist het tegenovergestelde: deze maatregelen vergroten de onderhandelingspositie van democratieën en maken een akkoord in de toekomst waarschijnlijker.

Wereldwijde tempobeheersing

Parallel aan de tempobeheersing binnen democratieën, zouden we ook moeten streven naar een wereldwijde tempobeheersing van de grens, hoewel dit veel moeilijker te bereiken zal zijn. Wereldwijde tempobeheersing vereist samenwerking met China, het autocratische land met verreweg de meest geavanceerde AI-capaciteiten. We mogen hier niet naïef zijn: de geopolitieke belangen zijn zo groot dat er waarschijnlijk duidelijke beperkingen zullen zijn aan wat bereikt kan worden, vooral in het begin. Als we onze AI-capaciteiten sterk beperken in de veronderstelling dat China hetzelfde zal doen, en China vervolgens overloopt, zou AI zo krachtig kunnen worden dat een dergelijke overloop tot hun geopolitieke dominantie zou kunnen leiden. Daarom moet elke overeenkomst ofwel waterdicht controleerbaar zijn, ofwel zodanig beperkt zijn dat overlopen geen militair existentieel gevaar oplevert. Ik vermoed dat niet alleen de VS, maar ook China deze zorgen en angsten zullen hebben. We moeten elke beslissing over wereldwijde tempobeheersing, vooral op korte termijn, zo benaderen dat de voorsprong van de VS en haar bondgenoten wordt beschermd.

Er zijn verschillende niveaus van mogelijke overeenstemming, waarvan ik sommige uitermate haalbaar acht ( zoals ik eerder al heb gesuggereerd ), en van andere ben ik zeer sceptisch of ze haalbaar zijn – hoewel we het wel zouden moeten proberen. In volgorde van toenemende moeilijkheid:

• Niveau 1. Een overeenkomst die bepaalde beperkte en overduidelijk gevaarlijke toepassingen van AI verbiedt, zoals het gebruik van AI voor de productie van biologische wapens of het toestaan ​​dat gebruikers dit doen. Bioterroristische aanvallen zijn slecht voor iedereen, zowel voor de VS als voor de tegenstanders van de VS, dus een overeenkomst op dit punt is waarschijnlijk mogelijk.
• Niveau 2. Een overeenkomst tussen beide partijen om hun modellen vóór publicatie te testen op acute risico’s op gebieden zoals cyberbeveiliging, biologie en afstemming. Zoals hierboven vermeld, zou dit kunnen gebeuren via een wereldwijd standaardisatieorgaan. Ik denk dat het oprichten van zo’n orgaan waarschijnlijk haalbaar is, maar het daadwerkelijk slagkracht geven zal een uitdaging zijn. De moeilijkheid zit hem in de verificatie dat beide partijen geen geheime modellen hebben die ze niet testen, maar die ze mogelijk in het geheim inzetten (bijvoorbeeld voor militaire toepassingen).
• Niveau 3. Een soort ‘snelheidslimiet’ voor de snelheid van recursieve zelfverbetering (RSI). Naarmate modellen toekomstige modellen bouwen, kan de verbeteringssnelheid duizelingwekkend hoog worden. Het vertragen van de snelheid van ‘extreem snel’ naar ‘slechts enigszins snel’ levert relatief weinig strategisch voordeel op, terwijl de veiligheid potentieel aanzienlijk wordt verbeterd. Dit zou analoog kunnen zijn aan de SALT -verdragen: het beperken van het aantal raketten beperkte de potentiële vernietigingskracht, terwijl de afschrikkingskracht van elk land behouden bleef. Ik denk dat een dergelijke overeenkomst moeilijk te bereiken is, maar wel op het randje van mogelijk.
• Niveau 4. Een volledige pacing, of zelfs een “pauze”, waarbij de deelnemende regeringen overeenkomen om het algehele tempo van de AI-ontwikkeling aanzienlijk te beperken. Ik ben voorstander van dit voorstel, maar ik denk dat het onwaarschijnlijk is dat het op korte termijn daadwerkelijk zal gebeuren: het ontduiken van een dergelijke overeenkomst door toezicht te omzeilen zou de mondiale machtsverhoudingen radicaal kunnen veranderen, dus ik verwacht dat de prikkels om dit te doen enorm zullen zijn en dat we een zeer hoog niveau van vertrouwen in de verificatie nodig zullen hebben.

Elke vorm van samenwerking die we met China kunnen bereiken, zal ons meer tijd geven om de grenzen binnen de democratische landen te verkennen. We moeten streven naar hogere niveaus, maar lagere niveaus als veel waarschijnlijker en realistischer beschouwen.

Tot slot is het belangrijk op te merken dat zelfs als we geen formele overeenkomsten kunnen bereiken, het simpelweg veranderen van informele normen al waardevol kan zijn . Het delen van informatie over recursieve zelfverbetering en over de discrepantie tussen modellen kan ertoe bijdragen dat iedereen ervan overtuigd raakt dat roekeloos handelen niet in hun eigen belang is.

Kortom

Ik blijf ervan overtuigd dat AI de kwaliteit van het menselijk leven enorm kan verbeteren. Mijn verlangen om deze voordelen te realiseren is onverminderd groot. Maar de voordelen zullen alleen worden behaald als we de technologie op de juiste manier ontwikkelen, en – zolang we de tijd die we winnen goed benutten – is het de moeite waard om er buitengewoon zorgvuldig mee om te gaan. De vooruitgang zal nog steeds relatief snel gaan, en we kunnen deze tijd gebruiken om de wetenschap van interpreteerbaarheid te bevorderen, de operationele veiligheid en nauwkeurigheid bij toonaangevende AI-bedrijven te verbeteren en modellen te bouwen waarvan we de afstemming veel meer vertrouwen hebben. De maatregelen die ik voorstel om de grenzen van AI in een veilig tempo te verleggen, zullen niet gemakkelijk zijn. Maar ik geloof dat we het aan de mensheid verplicht zijn om het te proberen.