AI maakt het lastiger om desinformatie te herkennen, maar wij hebben een nieuwe manier gevonden om het op te sporen.

AI  Zie je wel eens reacties op sociale media die totaal niet ter zake lijken te zijn, maar er toch in slagen de discussie te verleggen naar een polariserend politiek debat?

Een discussie over de kosten van levensonderhoud verandert plotseling in een ruzie over immigratie. Een gesprek over de oorlog in Oekraïne mondt uit in beschuldigingen van corruptie binnen de overheid. Het kan schokkend aanvoelen – en soms is dat opzettelijk.

Naarmate generatieve AI krachtiger wordt, gebruiken kwaadwillende groepen deze technologie steeds vaker om desinformatie online te produceren en te verspreiden . Geautomatiseerde accounts kunnen sociale media overspoelen met overtuigende commentaren die bedoeld zijn om verdeeldheid te zaaien , het politieke debat aan te wakkeren en het vertrouwen in betrouwbare informatie te ondermijnen.

Ons meest recente onderzoek biedt echter een manier om deze pogingen te herkennen. In plaats van te proberen vast te stellen of een bericht door AI is geschreven, richten we ons op iets anders: of het probeert het gesprek te ontsporen.

Tot voor kort was het identificeren van kwaadwillende accounts vaak vrij eenvoudig. Veel campagnes waren gebaseerd op berichten in een tweede taal. Daardoor bevatten de berichten soms grammaticale fouten of ongebruikelijke woordkeuzes. Detectiesystemen konden naar deze patronen in het gebruikte taalgebruik zoeken.

Maar generatieve AI heeft daar verandering in gebracht. AI-systemen kunnen nu vloeiende, natuurlijk klinkende tekst produceren die veel moeilijker te onderscheiden is van door mensen geschreven tekst. Patronen zoals het gebruik van gedachtestreepjes en het woord ‘delve’ waren bijvoorbeeld vroeger duidelijke tekenen dat een tekst door AI was gegenereerd. Maar AI’s passen zich aan en deze oudere systemen worden steeds minder effectief .

Het is een verloren strijd om AI puur op basis van de woorden die mensen gebruiken te proberen te detecteren. Wij geloven dat het beter is om te kijken naar wat een boodschap probeert te bereiken.

Op zoek naar signalen

Pogingen om desinformatie te verspreiden werken vaak door gesprekken af ​​te leiden van het oorspronkelijke onderwerp en ze te richten op meer polariserende kwesties. In plaats van individuele woorden te analyseren, hebben we daarom een ​​systeem ontwikkeld dat dit fenomeen in online discussies kan herkennen.

We analyseerden reacties onder BBC News-video’s op YouTube, een platform dat eerder al het doelwit is geweest van georganiseerde desinformatiecampagnes.

Stel je bijvoorbeeld eens voor dat iemand commentaar geeft op de Oekraïense president Volodymyr Zelensky in gesprek met hooggeplaatste Britse politici: “Zelensky zal zich wel afvragen hoeveel ministers van Buitenlandse Zaken het Verenigd Koninkrijk al verslijt.” Stel je nu eens voor dat iemand anders daarop reageert: “Trouwens, Zelensky is nog maar net vier jaar president. Misschien is dat wel de reden waarom die kleine tiran zijn oppositie de toegang ontzegt.”

Of dat tweede punt nu waar of onwaar is, doet er niet toe. In plaats van te reageren op de oorspronkelijke opmerking, leidt het de discussie af naar een ander, meer controversieel onderwerp.

Dit wordt een afleidingsmanoeuvre genoemd: het introduceren van een irrelevant onderwerp dat afleidt van de oorspronkelijke discussie. Dit soort afleidingsmanoeuvres zijn moeilijk te herkennen voor conventionele systemen voor het opsporen van desinformatie, omdat ze niet gekoppeld zijn aan specifieke woorden of zinsneden.

We hebben handmatig meer dan 1600 reacties onder BBC News-video’s geanalyseerd en ze gelabeld aan de hand van 25 verschillende kenmerken van online discussies – en daarbij enkele duidelijke patronen ontdekt.

We ontdekten dat 36% van de misleidende berichten afleidende elementen bevatten, 65% logische sprongen (ook wel “non sequiturs” genoemd) en 20% persoonlijke aanvallen. Bovendien was de kans veel kleiner dat ze eerdere opmerkingen erkenden of empathie toonden.

Manipulatie opsporen

De volgende stap was om te kijken of een AI-systeem deze patronen automatisch kon herkennen. We gebruikten een AI om een ​​AI te vangen.

Voor elke oprechte online reactie vroegen we een AI-taalmodel om een ​​aantal redelijke, relevante antwoorden te genereren. Om terug te komen op het voorbeeld van de Britse ministers van Buitenlandse Zaken: de AI stelde antwoorden voor zoals: “De huidige situatie in dit land moet nogal een schok zijn” of “Eén te veel?”. Beide gaven een direct antwoord op de oorspronkelijke vraag.

Het systeem vergelijkt vervolgens het daadwerkelijke antwoord met onze door AI gegenereerde reacties. Als het daadwerkelijke antwoord aanzienlijk verschilt, kan dit erop wijzen dat iemand probeert het gesprek een andere richting op te sturen. Ons systeem zoekt dus niet naar verdachte woorden, maar naar onverwachte veranderingen in het verloop van de discussie.

Hoe het systeem werkt:

We hebben deze aanpak getest met behulp van onze handmatig gelabelde dataset. In ons tweede onderzoek identificeerde het systeem in ongeveer 77% van de gevallen correct afwijkende opmerkingen.

Dat is verre van perfect, maar geen enkel detectiesysteem is dat – zeker niet bij de analyse van iets zo complex als menselijke conversatie. Onze aanpak presteerde echter ongeveer twee keer zo goed als bestaande systemen gebaseerd op sentimentanalyse op woordniveau. Ook behaalde het resultaten die vergelijkbaar waren met de mate van overeenstemming tussen menselijke onderzoekers.

Onze aanpak is effectief omdat de AI leert hoe een typische reactie op een gesprek eruitziet. Wanneer een antwoord de discussie onverwacht verandert, kan het systeem die verandering herkennen en patronen analyseren die eerdere methoden niet konden detecteren.

Natuurlijk is afwijken van het onderwerp niet per se een teken van kwade bedoelingen of desinformatie. Mensen sturen gesprekken nu eenmaal van nature in onverwachte richtingen, en er zijn veel legitieme redenen waarom discussies zich ontwikkelen.

Daarom kan deze technologie eerder fungeren als een vroegtijdig waarschuwingssysteem dan als een vervanging voor menselijk oordeel. Het kan moderators helpen bij het identificeren van gesprekken die nadere aandacht verdienen, maar de uiteindelijke beslissingen moeten bij getrainde experts blijven.

Er zijn ook belangrijke ethische vraagstukken die moeten worden aangepakt. AI-systemen kunnen vooroordelen weerspiegelen in de data waarop ze getraind zijn, en ze begrijpen gesprekken nog steeds niet helemaal op dezelfde manier als mensen. Het verbeteren van de manier waarop AI menselijke gesprekken weergeeft en interpreteert, blijft een uitdaging.

Naarmate door AI gegenereerde content steeds moeilijker te onderscheiden is van door mensen geschreven teksten, vereist het opsporen van desinformatie meer dan alleen het zoeken naar veelzeggende woorden. Het vereist inzicht in hoe gesprekken verlopen, hoe ze worden gemanipuleerd en wanneer iemand probeert ze stilletjes van het juiste spoor af te leiden.