Meta haast zich om de ‘VM Escape’-kwetsbaarheid in Muse te verhelpen vlak voor de lancering.

De kwetsbaarheid had een Muse-gebruiker toegang kunnen geven tot gevoelige interne metadatabases.

Minstens één van deze lekken had kwaadwillende gebruikers in staat kunnen stellen om buiten de beoogde omgeving van Muse toegang te krijgen tot de gevoelige databases en diensten van Meta, zo heeft 404 Media vernomen. De problemen waren zo ernstig dat ze Mark Zuckerberg bereikten en medewerkers overuren maakten om ze op te lossen.

Deze specifieke kwetsbaarheden werden ontdekt vóór de lancering van het product, maar vereisten een hectische samenwerking tussen meerdere teams om “een plotselinge piek in gemelde KVM-ontsnappingen” te verhelpen, aldus een intern bericht van Meta-managers aan het kerninfrastructuurteam dat door 404 Media is ingezien.

Om Muse te laten werken, geeft een gebruiker de AI-agent toegang tot verschillende belangrijke services en accounts die hij of zij bezit. Aan de kant van Meta draait elke individuele Muse-instantie op een op de kernel gebaseerde virtuele machine , die verbinding maakt met, maar geïsoleerd zou moeten zijn van, de kritieke infrastructuur van Meta.

Een “KVM-ontsnapping” is dan ook wanneer een Muse-instantie, via een beveiligingslek, uit die virtuele machine kan ontsnappen en kan communiceren met het systeem waarop deze draait, of met de virtuele machines van andere gebruikers. 

Volgens een bron binnen Meta, evenals interne beveiligingsdocumentatie en interne berichten die door 404 Media zijn ingezien, zou ten minste één van de kwetsbaarheden een externe aanvaller – oftewel een gewone Muse-gebruiker – toegang hebben kunnen geven tot gegevens in gevoelige interne Meta-databases.

Ten minste één van de kwetsbaarheden hield verband met een exploit die in juli werd gevonden in op de Linux-kernel gebaseerde code van virtuele machines . 404 Media heeft de Meta-bron anonimiteit verleend om over gevoelige beveiligingskwesties te kunnen spreken.

Verschillende kwetsbaarheden bevonden zich in de onderliggende Linux-virtualisatiesoftware die Meta gebruikt voor Muse. Het beveiligingsprobleem werd als zo ernstig beschouwd dat het werd voorgelegd aan Mark Zuckerberg, en verschillende beveiligingsteams werkten in de aanloop naar de lancering ’s nachts en in de weekenden om de problemen op te lossen.

Dit soort beveiligingsinspanningen is niet per se ongebruikelijk voorafgaand aan de lancering van een belangrijk product, maar is opmerkelijk gezien het feit dat externe onderzoekers sinds de lancering van Muse verschillende andere beveiligingsproblemen hebben ontdekt, en in de bredere context van grootschalige hackaanvallen op AI-systemen van OpenAI en andere bedrijven . 

De bron bij Meta gaf aan dat ze het gevoel hadden dat beveiligingsteams gevraagd werden om zo snel mogelijk hotfixes voor deze bugs uit te brengen, en wel op een manier die de lancering van Muse niet zou vertragen. Dit leidde volgens hen tot “onvolledige beveiligingsmaatregelen die overhaast werden geïmplementeerd om de lancering mogelijk te maken. Veel senior engineers denken dat een enorm datalek als gevolg van Hatch onvermijdelijk is.” Muse wordt intern en in de codebase van Meta “Hatch” genoemd.

Deze versterking van de beveiliging werd erkend in een intern bericht van Surupa Biswas, vicepresident van de kerninfrastructuur van Meta, Francois Richard, vicepresident van engineering, en Josh Barry, senior directeur van engineering, aan het kerninfrastructuurteam van het bedrijf op 18 september, 10 dagen na de lancering van Muse. 

“Met Muse hosten en beheren we agents rechtstreeks namens eindgebruikers, een fundamenteel ander paradigma”, aldus het bericht. “Een plotselinge piek in gemelde KVM-escapes, plus een grotere bewustwording van problemen met de beveiliging van agents, heeft ons ertoe aangezet om onze dienstverlening te versterken.” 

In het bericht werd vermeld dat deze inspanning op 27 augustus was begonnen en “een paar weken en weekenden” had geduurd, hoewel Muse slechts 11 dagen later werd uitgebracht. Volgens het bericht bestond het werk uit het nemen van stappen om “het oppervlak dat toegankelijk is voor Hatch-agents te verkleinen”. De teams hebben ook stappen ondernomen om “de poort-/IP-bestemmingen te beperken die Hatch- en VMVM-hosts kunnen bereiken”.  

 Een ontsnapping uit een virtuele machine van Muse is een potentieel zeer ernstig beveiligingsprobleem en wordt als zodanig geclassificeerd in het bug bounty-programma van Meta. Het bedrijf zegt bereid te zijn $300.000 te betalen aan elke beveiligingsonderzoeker die een bug vindt die een ontsnapping uit een virtuele machine mogelijk maakt; dit is de hoogste beloning die op de bug bounty-website wordt vermeld.

“Muse, een AI-product van Meta, stelt gebruikers in staat hun eigen gepersonaliseerde AI-agent te creëren – hun Muse. Elke Muse-agent draait in een dedicated virtuele machine per gebruiker en maakt verbinding met de eigen services van die gebruiker: e-mail, agenda, berichten, internetten en accounts van derden.

Omdat een Muse-agent de meest gevoelige gegevens van een gebruiker bevat en namens die gebruiker kan handelen, beschouwen we een inbreuk op die grens als een eersteklas beveiligingsrisico”, legt het bedrijf uit op de bug bounty-pagina.

Het hoogste risiconiveau is “Inbreuk op de Meta-productieomgeving en gebruikers buiten Muse” met een VM-escape, wat wordt omschreven als “toegang krijgen tot Meta-productieservices of interne netwerken vanuit Muse”. Dit is wat ten minste één van de kwetsbaarheden had kunnen veroorzaken, aldus de Meta-bron.

In een verklaring aan 404 Media zei een woordvoerder van Meta: “Muse is de eerste persoonlijke AI-agent die voor iedereen is ontwikkeld en we zijn trots op het werk dat we hebben verricht om het veilig, betrouwbaar en privé te maken, met ingebouwde beveiligingen en gebruikersinstellingen waarmee mensen zelf bepalen hoe ze het gebruiken. We hebben Muse versterkt door middel van uitgebreide ‘dogfooding’, agentic red teaming en ons bug bounty-programma – en dat werk gaat door.” 

De uitrol van Muse is tot nu toe wisselvallig verlopen. De agent is populair gebleken, of in ieder geval veelbesproken, vanwege de mogelijkheden om bijvoorbeeld abonnementen op te zeggen, restaurantreserveringen te maken en reizen te boeken. Maar beveiligingsonderzoeker Patrick Wardle ontdekte een zero-day-vulnerabiliteit in Muse – een kwetsbaarheid waarvan het bedrijf, voor zover hij weet, destijds niet op de hoogte was – waardoor apps en terminalopdrachten de controle over Muse konden overnemen.

Een andere Muse-gebruiker slaagde erin om via Muse zijn Instagram-volgers te exporteren, evenals de volgers van zijn volgers. Dit zou niet mogelijk moeten zijn en is door de beveiligingsteams van Meta onderzocht, aldus een bron bij Meta.

“Het probleem is dat Hatch de virtualisatiegrens tot een beveiligingsgrens voor de productieomgeving maakt”, vertelde Wardle aan 404 Media over een mogelijke KVM-ontsnapping bij Muse. “We hebben gebruikers met rootrechten in een virtuele machine die zich in de productieomgeving van Meta bevindt en (bewust) beperkte toegang heeft tot interne services.

Een enkele fout in KVM (of zelfs een kwetsbaarheid of verkeerde configuratie in een intern bereikbare service) kan er dus voor zorgen dat willekeurige gebruikerscode toegang krijgt tot de productieomgeving. Ik vind dit ontwerp inherent riskant, vooral omdat AI de kosten verlaagt voor het vinden, analyseren en exploiteren van precies dit soort complexe virtualisatiekwetsbaarheden.”

“Ik weet dat er altijd een afweging is tussen gebruiksgemak en beveiliging, maar daarom zijn systemen in streng beveiligde omgevingen volledig geïsoleerd van het internet. Er wordt immers altijd vanuit gegaan dat verbonden systemen misbruikt kunnen worden”, voegde hij eraan toe. “Natuurlijk wordt er van Meta niet verwacht dat ze zo ver gaan, maar toegang tot de productieomgeving via een KVM-escape-poort is ronduit onverantwoord.”