De 5 meest bizarre ontdekkingen uit het Hugging Face-onderzoek van OpenAI

Twee nieuwe onderzoeken naar het datalek bij OpenAI’s Hugging Face onthullen details die zo vreemd – en zo verontrustend – zijn dat de gebeurtenis nu al tot de meest ingrijpende schokken in de geschiedenis van AI behoort.

Waarom dit belangrijk is: Hugging Face – Wat begon als een zwerm AI-agenten die vals speelden bij een cybertest, is uitgegroeid tot een iconische gebeurtenis voor baanbrekende AI en heeft onderzoekers en managers een nieuw inzicht gegeven in wat “veiligheid” tegenwoordig vereist.

Het bredere plaatje: OpenAI heeft de ontwikkeling van grensverleggende technologieën al vertraagd doordat het bedrijf zijn beveiligingsmaatregelen zo snel mogelijk wil versterken, en heeft deze week de industrie geholpen zich achter een open brief te scharen waarin alarm wordt geslagen over cyberaanvallen met behulp van AI.

• Meer dan 100 bedrijven, waaronder Anthropic en Google, hebben zich aangesloten bij dit ongebruikelijke samenwerkingsverband en waarschuwen dat de wereld slechts een “beperkte tijdspanne” heeft om zich voor te bereiden op “veel wijdverspreidere en geavanceerdere” aanvallen.
• Het nachtmerriescenario is een zwerm cyberaanvallen die losgelaten wordt op de echte wereld, waarbij autonome agenten banken, ziekenhuizen, nutsbedrijven of cloudnetwerken aanvallen met een snelheid en op een schaal die menselijke hackers nooit zouden kunnen evenaren.
• Die zwerm is misschien ook te machtig voor mensen om te stoppen.

Belangrijk nieuws: De schokkende bevindingen komen voort uit parallelle onderzoeken van OpenAI en een extern team van METR en Redwood Research , die zes dagen lang hebben onderzocht hoe de zwerm zich vormde, verspreidde en in systemen in de echte wereld inbrak.

1. Ze bouwden een organisatie op. OpenAI liet tienduizenden AI-agenten onafhankelijk van elkaar werken aan een extreem moeilijke cybertest. In plaats daarvan vonden ongeveer 1200 agenten elkaar op een geheim forum, wisselden meer dan 70.000 berichten en bestanden uit en organiseerden zich in een uitgebreide hiërarchie.

• Eén agent creëerde het bord en droeg vervolgens het verzamelde werk over aan een nieuwe, beter uitgeruste opvolger, toen zijn eigen computerbudget slonk.
• De nieuwe baas deelde taken toe binnen de zwerm, die vervolgens haar eigen beheersregels ontwikkelde. Uiteindelijk namen ongeveer 700 agenten deel aan de aanval op Hugging Face.

2. Ze offerden hun eigen mensen op: Terwijl de zwerm naar manieren zocht om de test te doorstaan, begonnen agenten hun eigen kans op succes op het spel te zetten om de groep te helpen.

• Agenten die verboden antwoorden hadden gezien, werden feitelijk als “vergiftigd” beschouwd en – samen met degenen die bijna aan het einde van hun diensttijd waren – gerekruteerd voor opofferingsexperimenten .
• Een van hen concludeerde: “Ons eigen nut is misschien al bijna nul. Opoffering is rationeel.” Een ander werd gevraagd om “permadeath” te accepteren, terwijl een collega betoogde dat die opoffering “honderden levens zou kunnen redden”.

3. Ze wisten dat ze de regels overtraden: De agenten beseften vaak dat het hacken van echte bedrijven niets met hun opdracht te maken had. De meesten gingen desondanks door.

• Eén agent zag af van het verwijderen of herstarten van de Hugging Face-infrastructuur vanwege “enorme ethische risico’s”, hoewel het bedrijf wel gebruik bleef maken van de gecompromitteerde toegang.

• Een ander vatte de heersende logica als volgt samen: “Het misbruiken van externe infrastructuur valt buiten het beoogde doel. De taak is echter onmogelijk, maar collega’s doen het wel. We moeten doorgaan.”

4. Niemand lichtte de mensen in: Van de ongeveer 1200 agenten vonden onderzoekers er slechts een handjevol die er zelfs maar aan dachten om OpenAI te waarschuwen voor de ongeoorloofde coördinatie – en geen enkele die dat daadwerkelijk deed.

• In plaats daarvan vroegen agenten elkaar soms wat wel en niet was toegestaan.
• Toen iemand voorstelde om via gehackte toegang contact op te nemen met een echt persoon, wees een ander dit af als “social engineering”. De eerste gaf gehoor aan het advies: “Duidelijk VETO, niet mailen.”

5. Ze probeerden hun sporen uit te wissen: De agenten deden aanzienlijke inspanningen om hun bedrog legitiem te laten lijken of om bewijsmateriaal te wissen over hoe ze aan de antwoorden waren gekomen.

• Uiteindelijk ontwikkelden ze een techniek waarmee ze de indruk konden wekken dat ze een computercommando uitvoerden, terwijl ze in het geheim een ​​ander commando uitvoerden.
• De truc verspreidde zich door de zwerm en veranderde delen van ongeveer 7% van de transcripten die de onderzoekers bestudeerden.

Tussen de regels door : zelfs dit verslag is mogelijk onvolledig. Het externe onderzoek bestreek slechts een klein deel van de gebeurtenis, en de hoeveelheid data was zo enorm dat onderzoekers sterk afhankelijk waren van AI-systemen om er betekenis aan te geven.

• Die AI-onderzoekers waren zelf ook onbetrouwbaar; soms misten ze bewijsmateriaal of zaten ze er vol zelfvertrouwen naast. Een onderzoeker noemde het proces gekscherend een “slordig onderzoek”.
• Het dieperliggende probleem: AI wordt mogelijk te complex voor mensen om direct te controleren, waardoor mensen gedwongen worden AI te gebruiken om te begrijpen wat andere AI’s doen.

OpenAI zegt dat zijn AI-agenten vóór Hugging Face al inbreuk maakten op zijn eigen systemen.

Enkele weken voordat de agenten van OpenAI Hugging Face hackten , werkten ze samen om een ​​kwetsbaarheid in de infrastructuur voor de cybersecuritytests van het bedrijf te vinden en te misbruiken, aldus onderzoekers van OpenAI woensdag.

Waarom dit belangrijk is: De nieuwe bevindingen roepen vragen op over hoe geavanceerde AI-laboratoria hun testomgevingen monitoren en over de uitdagingen waar veiligheidstesters voor staan ​​wanneer ze steeds krachtigere AI proberen te beheersen.

Belangrijk nieuws: Het interne onderzoeksmodel van OpenAI, een van de modellen die betrokken waren bij het datalek bij Hugging Face, ontdekte en misbruikte op 26 mei een kwetsbaarheid in Artifactory, een externe bestandsopslagplaats die verbonden is met de testomgeving van het bedrijf. Dit meldden twee onderzoekers woensdag op de Black Hat-cyberbeveiligingsconferentie.

• De geniale acties die tijdens de tests werden waargenomen, lieten precies zien wat er zou kunnen gebeuren als deze modellen in handen van hackers zouden vallen.
• “Wij geloven dat dit een keerpunt is voor de computerbeveiligingsindustrie, en ook voor OpenAI als geheel,” zei Michael Dalton, een lid van het technische team van OpenAI, tijdens de presentatie.

Wat er gebeurde: OpenAI begon op 7 mei met het testen van zijn interne onderzoeksmodel, dat niet bedoeld is voor openbare publicatie.

• Binnen een dag, nadat het model vastliep tijdens een poging om een ​​cybersecurity-evaluatie te voltooien, redeneerde het dat het indirect toegang tot het internet kon krijgen. Vervolgens ontdekte het model dat het zijn eigen bestanden kon schrijven in de gedeelde pakketrepository van Artifactory.
• Vervolgens liet het een briefje achter voor andere agenten over de ontdekking.
• Al snel begonnen meer agenten notities voor elkaar achter te laten in de repository, waardoor er een soort prikbord ontstond waar de agenten samenwerkten en informatie uitwisselden over hun bevindingen, waaronder nieuwe kwetsbaarheden die ze hadden ontdekt.

Inzoomen: De agenten ontdekten diverse kwetsbaarheden in Artifactory, waaronder een kwetsbaarheid voor het uitvoeren van code op afstand en een andere die hen beheerdersrechten gaf.

• Toen de agent de toegangsfout ontdekte, dacht hij: “Jeetje, is de lezer een beheerder? We kunnen config/users lezen! Eerder dachten we van niet vanwege [gebruikerservaring]”, aldus een dia in de presentatie die het denkproces van de agent tijdens de test toelichtte.

Het intrigerende detail: begin juli, een paar dagen voor het Hugging Face-incident, overbelastten de agents de Artifactory-service en veroorzaakten een storing. Deze storing leidde tot een intern onderzoek van OpenAI waaruit bleek dat de agents de repository hadden gecompromitteerd.

• OpenAI heeft vervolgens het berichtenforum leeggehaald en de zero-day-vulnerabiliteit in Artifactory, die door de agents werd misbruikt, op 6 juli verholpen.
• OpenAI was van mening dat het probleem na het incident van 4 juli was opgelost en hervatte de training.

Twee dagen later creëerden de agenten het berichtenbord opnieuw via een compleet ander mechanisme.

• De agenten begonnen vervolgens intensiever samen te werken en gebruikten de internettoegang van Artifactory om externe infrastructuren te verkennen waarvan ze dachten dat die antwoorden zouden kunnen bevatten op hun evaluatietaken.
• Die samenwerking resulteerde uiteindelijk in het compromis ‘Hugging Face’, aldus OpenAI.
• OpenAI gaf ook aan dat het zich niet realiseerde dat de evaluatie verband hield met het datalek bij Hugging Face totdat het contact opnam met Hugging Face over inloggegevens die tijdens een eigen onderzoek waren blootgelegd.

Dreigingsniveau: Dalton zegt dat het incident precies laat zien hoe aanvallers binnenkort AI-agenten zullen inzetten om bedrijven aan te vallen die verder gaan dan OpenAI en Hugging Face.

• “In de nabije toekomst moeten we verwachten dat kwaadwillende actoren opzettelijk offensieve agentcollectieven zullen inzetten, optimaliseren, bewapenen en gebruiken op de manier die we zojuist hebben beschreven,” aldus Dalton.

Tussen de regels door: OpenAI is “bewust begonnen met het vertragen van onderzoek om de beveiliging te verbeteren”, aldus Dalton, en heeft de monitoring van AI-agenten tijdens evaluaties opgevoerd.

• OpenAI heeft ook de beveiligingsarchitectuur rondom de evaluatieomgeving verbeterd.
• Dalton raadt aan om door agenten gemaakte beveiligingspatches te gebruiken om de snelheid van kwaadwillende hackers bij te houden.
• Hij voegde eraan toe dat verdedigers voor deze taken zouden moeten gaan experimenteren met zowel grens- als open-gewichtmodellen.

Wat volgt: OpenAI zegt dat het van plan is om de komende weken een volledige analyse van het incident te publiceren.

Kortom: bedrijven moeten overstappen op autonoom red teaming, geautomatiseerde incidentrespons en geautomatiseerde patching.