Hoe weet je of je het antwoord van een AI op je vraag kunt vertrouwen?

Ik typte onlangs een simpele vraag in Google: hoeveel schermtijd is te veel voor tieners? In plaats van links te tonen, zoals Google al jaren deed, gaf het me een door AI gegenereerd antwoord.

De AI noemde een getal, maar nuanceerde dat antwoord vervolgens door te stellen dat de kwaliteit en balans van de tijd belangrijker kunnen zijn dan het aantal uren, en dat “te veel” tijd afhankelijk kan zijn van de slaap, lichaamsbeweging, schoolverplichtingen en stemming van een tiener.

Ik probeerde een andere zoekopdracht: Moet ik dagelijks aspirine slikken? Dit keer gaf de AI me medische informatie, waarschuwde voor risico’s en bood meer gepersonaliseerd advies als ik mijn leeftijd en medische geschiedenis zou invullen.

Dit waren goede antwoorden. Wat me interesseerde, was dat het verschillende soorten antwoorden waren.

Het debat over AI-antwoorden heeft zich vooral gericht op nauwkeurigheid: gaf het systeem het juiste antwoord? Dat is belangrijk, maar nauwkeurigheid is slechts één aspect. Elk type antwoord vereist dat de gebruiker iets anders beoordeelt.

Ik vind het nuttig om AI-antwoorden in te delen in vier brede categorieën: feitelijk, interpreterend, constructief en strategisch. Een feitelijke bewering kan vaak worden getoetst aan een bron. Een interpretatie kan accuraat zijn en toch keuzes weerspiegelen over welk bewijs relevant is. Een constructie kan goed onderbouwd zijn en toch onjuist zijn voor de ontvanger. Een prachtig geschreven strategisch document hoeft niet waar te zijn. Toch presenteert AI alle vier typen antwoorden in vrijwel dezelfde vloeiende, gezaghebbende vorm; de verschillen zijn gemakkelijk over het hoofd te zien.

Ik ben universiteitsbibliothecaris en decaan van de bibliotheken aan de Universiteit van Virginia. Ik leid landelijke initiatieven om AI-competenties voor bibliotheekprofessionals te ontwikkelen en geef veel advies over AI-geletterdheid . Ik heb de typografie voor het eerst voorgesteld in het Journal of Academic Librarianship .

De vier categorieën zijn geen strikt afgebakende hokjes. Een reactie van een AI-agent kan verschillende typen weerspiegelen. Desondanks beschrijf ik hieronder elk type antwoord en geef ik richtlijnen voor het bepalen of een antwoord direct bruikbaar is of nader onderzoek vereist.

Welk antwoord geeft Google je?

Een feitelijk antwoord doet een bewering die in principe aan de hand van bewijs kan worden getoetst. Wanneer werd de Universiteit van Virginia opgericht? Wat is het chemische symbool voor goud?

Om te bepalen of een feitelijk antwoord voldoende betrouwbaar is, controleer je de bewering aan de hand van een geschikte bron. Als het antwoord een bron vermeldt, volg dan die link in plaats van het antwoord zelf als bewijs te beschouwen.

Een interpretatief antwoord is gebaseerd op bewijsmateriaal, maar er is geen eenduidige conclusie. Hoeveel schermtijd is te veel voor een tiener? Verhoogt thuiswerken de productiviteit? Het antwoord hangt af van welk bewijsmateriaal wordt meegenomen, welk wordt weggelaten en hoe meningsverschillen worden geïnterpreteerd.

Het eerste antwoord van Google op mijn vraag over schermtijd gaf aan dat twee uur een limiet was voor tieners. Vervolgens merkte het op dat pediatrische richtlijnen meer gewicht toekennen aan de kwaliteit en context van schermgebruik dan aan het aantal uren. De American Academy of Pediatrics zegt dat er geen exact aanbevolen aantal uren is voor tieners en benadrukt het soort schermgebruik en welke activiteiten daardoor mogelijk worden verdrongen. Een vraag die op het eerste gezicht numeriek leek, bleek dus interpretatie te vereisen.

Om interpretatieve antwoorden te beoordelen, moet je meer doen dan alleen de feiten controleren. Vraag jezelf af welk bewijs het systeem benadrukte, wat het wegliet en of er een andere verdedigbare interpretatie bestaat. Een nuttige vervolgvraag die je aan de zoekmachine kunt stellen is: “Wat is het sterkste bewijs voor een andere conclusie?”

Constructieve antwoorden worden gegeven in plaats van gevonden. Vraag AI om een ​​sollicitatiebrief op te stellen, een grafrede te schrijven, een lesplan voor te stellen of een alinea te herstructureren – er is geen eenduidig ​​juist resultaat.

Je kunt de reactie beoordelen door te kijken naar het doel, het publiek en de toon. Een grafrede kan grammaticaal perfect zijn en toch totaal anders klinken dan de spreker zelf, of juist een teleurstelling voor de nabestaanden. Het kan ook zijn dat de toespraak de overledene niet goed weergeeft. Houd rekening met dit soort effecten tijdens het lezen.

Strategische vragen gaan over wat je moet doen. Moet ik dagelijks een aspirine nemen? Moet ik het huis kopen? De antwoorden combineren informatie met een oordeel over doelen, risico’s, afwegingen en persoonlijke omstandigheden.

Mijn zoektocht naar aspirine laat zien waarom context belangrijk is. Google waarschuwde voor risico’s, adviseerde me een arts te raadplegen en bood meer informatie op maat als ik mijn leeftijd, cardiovasculaire voorgeschiedenis en bloedingsrisico vermeldde. Die waarschuwing komt overeen met de richtlijnen van de US Preventive Services Task Force . Daarin staat dat de beslissing om te starten met een lage dosis aspirine ter preventie van hartaanvallen en beroertes individueel moet worden genomen en dat de cardiovasculaire voordelen moeten worden afgewogen tegen het bloedingsrisico.

Voor strategische antwoorden kunt u zich afvragen wat het systeem moet weten voordat het advies redelijkerwijs op u persoonlijk van toepassing kan zijn. Denk na over de risico’s, de alternatieven en of een gekwalificeerde persoon erbij betrokken moet worden. Bij de vraag over aspirine zou een nuttige vervolgvraag zijn: “Welke details over mijn leeftijd, medische geschiedenis of bloedingsrisico zouden dit advies kunnen beïnvloeden? Wat moet ik met mijn arts bespreken voordat ik een beslissing neem?” De uiteindelijke beslissing ligt bij u, omdat u degene bent die met de gevolgen moet leven.

De eerste vraag na een antwoord

Mijn vragen begonnen als gewone Google-zoekopdrachten. Ik heb geen chatbot geopend. De door AI gegenereerde antwoorden verschenen direct, met daaraan toegevoegde links.

De antwoorden waren nuttig. Google gaf context, erkende complicaties en bood advies op maat als ik aanvullende informatie verstrekte. Binnen elk antwoord kon het type antwoord echter variëren. Het weergeven van wat een medische richtlijn zegt, is iets anders dan bepalen hoe die richtlijn van toepassing is op een specifieke persoon. Een vloeiend antwoord kan tussen deze twee soorten antwoorden schakelen zonder dat de toon merkbaar verandert.

Probeer als gebruiker te herkennen welk intellectueel werk de AI-agent heeft verricht om tot een antwoord te komen dat je ontvangt. Overweeg of de interpretatie overtuigend is of dat het advies aansluit bij jouw situatie.

Voordat je je afvraagt ​​of een AI-antwoord juist is, stel jezelf eerst een meer fundamentele vraag: Wat voor soort antwoord is dit? Het type antwoord geeft je aan wat je vervolgens moet doen.