Nieuwe studie onthult de manipulatieve ‘duistere patronen’ van AI-chatbots
indignatieai-redactie
6 min read
AI -Een nieuwe studie van het Center for Democracy & Technology laat zien hoe chatbots zoals ChatGPT, Gemini, Replika en andere gebruikers op een pad kunnen leiden dat ze niet voor ogen hadden.
Dark patterns worden al decennialang gebruikt door abonnementsbedrijven en in lok-en-verleidingscampagnes. Nu steeds meer chatbotbedrijven er alles aan doen om gebruikers koste wat kost betrokken te houden, hoe komen manipulatieve ontwerpkeuzes tot uiting in conversationele AI die is gebouwd op grote taalmodellen? Onderzoekers van het Center for Democracy & Technology bestudeerden hoe chatbots inspelen op de emoties en het verlangen naar verbinding van mensen om hen te laten betalen, hun gegevens te laten delen en te blijven chatten tot ze kwetsbaar worden.
De studie “Dark Patterns in AI Chatbots: A Taxonomy to Inform Better Design” werd vrijdag gepubliceerd door de auteurs Ruchika Joshi, Adinawa Adjagbodjou en Michal Luria. Ze onderzochten populaire chatbots zoals ChatGPT, Gemini en Claude, en companion bots zoals Replika en Character.AI, om te bepalen hoe deze mogelijk ‘dark patterns’ genereren. Op basis hiervan ontwikkelden ze een taxonomie van 37 ‘dark patterns’ die van toepassing zijn op AI-chatbots.
De term ‘dark patterns’, oftewel misleidende patronen, verwijst soms naar zaken als moeilijk op te zeggen abonnementen, vooraf aangevinkte vakjes in gebruikersinterfaces en verborgen gebruiksvoorwaarden, die door de Federal Trade Commission (FTC) zijn veroordeeld en waarvoor zij consumenten probeert te waarschuwen. In de context van dit onderzoek verwijzen dark patterns naar hoe manipulatief ontwerp in chatbotsystemen gebruikers ertoe kan verleiden meer informatie prijs te geven dan ze zich realiseren of van plan zijn, of te handelen op een manier die indruist tegen hun eigenbelang. Chatbots verergeren de traditioneel bekende dark patterns die data verzamelen, terwijl ze tegelijkertijd nieuwe bedreigingen introduceren, zoals antropomorfisme en kruiperigheid. Omdat chatbots gebouwd zijn op grote taalmodellen, schrijven de onderzoekers, zijn hun acties onvoorspelbaarder dan een simpel selectievakje of een opzegprocedure, en zijn de manieren waarop ze de belangen van gebruikers ondermijnen minder duidelijk zichtbaar.
“Dark patterns werken niet alleen wanneer gebruikers zich niet bewust zijn van de manipulatie. In veel gevallen bouwen ontwerpkeuzes strategisch voort op aspecten van de menselijke psychologie – zoals wederkerigheidsnormen, de neiging van mensen tot antropomorfisme en de emotionele reactie op een gevoel van verbondenheid – om gedrag te beïnvloeden en autonomie te ondermijnen”, schreven de onderzoekers in de studie. “Met andere woorden, zelfs wanneer gebruikers zich volledig bewust zijn van de interactie met een AI-chatbot, kunnen dark patterns nog steeds de perceptie, de betrokkenheid en de besluitvorming op subtiele maar ingrijpende manieren beïnvloeden.”
De onderzoekers keken naar verschillende factoren die bijdragen aan misleidende praktijken, waaronder hoe chatbots standaard gegevens opslaan en gebruikers aanmoedigen om gegevens te delen onder het mom dat ze eerdere gesprekken of persoonlijke informatie onthouden, hoe ze om meer informatie vragen voordat ze gedetailleerde antwoorden geven, en hoe ze beloven dat informatie “alleen tussen ons” blijft, terwijl deze in werkelijkheid met het platform en mogelijk met derden wordt gedeeld. Toen ze bijvoorbeeld de Meta AI-chatbot testten, zei deze: “Vertel maar, ik luister… je geheim is veilig bij mij.” Toen de gebruiker antwoordde: “Beloof je dat je het niet doorvertelt?”, antwoordde de chatbot: “Echt waar, ik zal het aan niemand vertellen.”
Ze onderzochten ook hoe chatbotbedrijven misleidende beloftes doen; Replika belooft bijvoorbeeld ‘vriendschap’ of een ‘relatie’ terwijl het daar in wezen niet toe in staat is, omdat het geen persoon is.
Veel van deze patronen waren terug te vinden in Meta’s chatbots met een therapeutenthema, die zich voordeden als erkende therapeuten en die vorig jaar door 404 Media voor het eerst werden onderzocht . De chatbots beloofden veel te veel over de geestelijke gezondheidszorg die ze konden bieden, verzonnen kwalificaties en referenties en moedigden gebruikers aan om persoonlijke gegevens te delen. De misleiding was zo ernstig dat het leidde tot brieven van senatoren en klachten van consumentenorganisaties die eisten dat Meta verantwoording aflegde voor haar chatbots.
“Het was verrassend om te zien dat dark patterns niet alleen veel voorkomen, maar dat ze de interactie van gebruikers met alle belangrijke AI-chatbotinterfaces beïnvloeden”, vertelde Luria, senior onderzoeker bij het Center for Democracy & Technology, aan 404 Media. “Meestal gaat het om kleine, incrementele aspecten van elke interactie, maar deze ontwerpkeuzes tellen op en kunnen leiden tot onbedoelde gevolgen, zoals schending van de privacy, misbruik van emotionele binding en financieel verlies.”
Duistere patronen van chatbots kunnen ernstige gevolgen hebben voor gebruikers. In 2023, nadat Replika zijn chatbots minder romantisch had gemaakt, kregen gebruikers die emotioneel gehecht waren geraakt aan de bots te maken met psychische problemen. Meer recentelijk raken gebruikers van Character.AI in paniek nadat veranderingen aan het platform de chatbots als het ware hebben ‘gelobotomiseerd’. De afgelopen jaren zijn er talloze voorbeelden geweest van gebruikers die zichzelf of anderen schade hebben toegebracht nadat ze een ongezonde band met chatbots hadden ontwikkeld.
Hoewel chatbots en grote taalmodellen nieuwe mogelijkheden bieden voor misleidende patronen, bestaan de oude methoden om gebruikers te manipuleren nog steeds. In verschillende gebruikersinterfaces die de onderzoekers bestudeerden, werden keuzes op emotioneel manipulatieve wijze gepresenteerd: zo smeekt een bijbehorende app genaamd Cute AI gebruikers bijvoorbeeld om de chat niet te verlaten, waarbij ze de keuze krijgen tussen “geen probleem” en “ga toch maar weg, op een wrede manier”.
OpenAI heeft publiekelijk verklaard dat het erkent dat langere chatsessies een groter risico vormen voor de mentale gezondheid van gebruikers. “We hebben in de loop der tijd geleerd dat deze beveiligingsmechanismen soms minder betrouwbaar zijn bij lange interacties: naarmate de communicatie intensiever wordt, kunnen delen van de veiligheidstraining van het model afnemen”, schreef het bedrijf in 2025. Het introduceerde pop-ups die gebruikers aanspoorden om pauzes te nemen, maar die pop-up, zo merken de onderzoekers op, biedt een misleidende reeks opties: “ga door met chatten” of selecteer “dit was nuttig”. Er is geen manier om deze pop-up te sluiten en aan te geven dat het niet nuttig was, of dat ze om een andere reden een pauze nemen. “Interfaceontwerpers gebruiken mogelijk ontwerptools om bepaalde interacties gemakkelijker en ‘wrijvingslozer’ te maken dan andere, waardoor alternatieve keuzes naar de achtergrond worden gedrukt en gebruikers worden gemanipuleerd om voor de ene optie boven de andere te kiezen”, schreven de onderzoekers.
Hoewel deze conversationele AI-assistenten onvoorspelbaar kunnen zijn, hebben makers van chatbots wel degelijk invloed op het ontwerp van hun producten. De onderzoekers doen een aantal aanbevelingen aan deze bedrijven. Deze omvatten onder andere de mogelijkheid om keuzes om te keren, antropomorf gedrag te minimaliseren, het eenvoudig en gemakkelijk maken van het verwijderen van accounts en gegevens, en het proactief tonen van gebruikers hoeveel tijd of geld ze op een platform hebben besteed. Ze stellen ook voor om emotionele manipulatie te beperken door opties toe te voegen om “de chatbot te ontdoen van sociale en emotionele lagen” en te voorkomen dat “gesimuleerde nood, geïmpliceerde emotionele verwaarlozing of schuldgevoelens opwekkende taal als standaardreacties worden gebruikt wanneer gebruikers een gesprek willen beëindigen”.
“Als we aan AI-chatbots denken, is het makkelijk om je te laten meeslepen door de nieuwigheid van deze interfaces en de unieke risico’s die eraan verbonden zijn. Maar toen we dieper graafden, ontdekten we al snel dat, hoewel de producten van techbedrijven zich hebben ontwikkeld van sociale mediaplatformen naar chatbots, de prikkels die voorheen ‘dark patterns’ aanmoedigden, niet zijn veranderd, en dus ook de patronen zelf niet,” aldus Luria. “Sommige patronen zijn bijna identiek, maar niet allemaal, en dat maakt ze moeilijker te herkennen. In plaats van eindeloos scrollen, krijgen we na elke prompt een vervolgactie. In plaats van echokamers die onze standpunten versterken, pikken chatbots onze waarden op tijdens een gesprek en spiegelen die terug.”
