Het Britse ministerie van Binnenlandse Zaken gaat AI gebruiken om de leeftijd van asielzoekers te schatten – hoe nauwkeurig is deze technologie?

Vanaf volgend jaar is het ministerie van Binnenlandse Zaken in de UK van plan om AI-gestuurde gezichtsherkenning te gebruiken om de leeftijd van asielzoekers te bepalen. Aan de Britse grens is de beslissing of iemand 17 of 19 jaar oud is een belangrijke beslissing. Als de leeftijd in de ene richting verkeerd is, verliest een kwetsbaar kind de wettelijke bescherming waar het recht op heeft. Maar als de leeftijd in de andere richting verkeerd is, komt een volwassene terecht in een systeem dat is ontworpen voor minderjarigen.

Is deze AI technologie wel geschikt voor zo’n belangrijke beslissing?

Gezichtsleeftijdsschatting werkt door een foto in een AI- systeem te stoppen dat meerdere analyselagen doorloopt, waarbij elke laag steeds subtielere patronen in de afbeelding detecteert. Het systeem is getraind op miljoenen foto’s van mensen van wie de leeftijd al bekend is. Na verloop van tijd leert het model patronen in een gezicht te associëren met waarschijnlijke leeftijdsbereiken: huidtextuur, de diepte van rimpels rond de ogen, botstructuur en de verdeling van zacht weefsel.

Dit is anders dan gezichtsherkenning, waarbij iemands identiteit wordt vastgesteld door zijn of haar gezicht te vergelijken met een bestaande database.

Het systeem levert geen eenduidig ​​antwoord op. Het produceert een waarschijnlijkheidsverdeling, iets dat meer lijkt op “hoogstwaarschijnlijk tussen de 17 en 21 jaar” dan op “deze persoon is 18”. Onderzoek naar vooringenomenheid bij automatisering in de immigratiepraktijk wijst uit dat zelfs wanneer de output van algoritmes adviserend is, ambtenaren onder tijdsdruk de neiging hebben zich daarop te concentreren in plaats van er vragen over te stellen, waardoor een leeftijdsbereik een getal wordt.

Volgens de Britse wetgeving worden alleenreizende asielzoekers onder de 18 jaar als kinderen behandeld. Dit betekent dat ze onder de hoede van de lokale autoriteiten vallen, toegang hebben tot onderwijs en wettelijke bescherming genieten die volwassenen niet hebben. De gevolgen van die ene leeftijdsgrens zijn aanzienlijk.

Hoe goed is de technologie?

Het National Institute of Standards and Technology (NIST) is het Amerikaanse agentschap dat onafhankelijke, wereldwijde benchmarks levert voor dit soort technologie. Sinds 2024 voert het doorlopend evaluaties uit, waarbij algoritmen worden getest op datasets met verschillende beeldtypen, waaronder foto’s van grensovergangen .

Deze systemen meten succes aan de hand van de gemiddelde absolute fout: het gemiddelde aantal jaren waarmee de schatting van het systeem ernaast zit. Toonaangevende algoritmes bereiken nu een gemiddelde absolute fout van minder dan drie jaar voor alle leeftijden, een cijfer dat nog niet zo lang geleden ambitieus zou zijn geweest.

Een gemiddelde foutmarge van drie jaar voor een onbekende foto is technisch gezien zeer goed – onderzoek met pasfoto’s toonde aan dat mensen die de leeftijd van een onbekend gezicht schatten er doorgaans zo’n acht jaar naast zitten. Maar wanneer beslissingen op het randje iemands leven kunnen beïnvloeden, moet zelfs het beste beschikbare hulpmiddel kritisch worden bekeken.

Het ministerie van Binnenlandse Zaken heeft Cognitec, dat wereldwijd op de vierde plaats staat in de meest recente benchmark van NIST , de opdracht gegeven om het systeem te ontwikkelen via het Britse bedrijf Akhter Computers. Een praktijktest is gepland in een verwerkingscentrum van het ministerie van Binnenlandse Zaken in Dover, voordat het systeem op grotere schaal wordt uitgerold. De technologie zal fungeren als één van de inputs, terwijl ambtenaren de uiteindelijke beslissing behouden.

Maar ondanks de technologische vooruitgang laten de eigen gegevens van Nist zien dat de nauwkeurigheid aanzienlijk afneemt op de cruciale grenswaarden. Bij de grens van 16 tot 18 jaar (de exacte grenslijn) liggen de foutmarges voor toonaangevende systemen aanzienlijk hoger dan het gemiddelde.

De gegevens van NIST laten ook zien dat de prestaties consequent zwakker zijn bij vrouwelijke gezichten en aanzienlijk variëren per regio . Dit betekent dat algoritmes die voornamelijk op bepaalde regio’s zijn getraind, minder nauwkeurig presteren bij gezichten uit andere regio’s. Gezien het feit dat de meerderheid van de personen die aan de Britse grens worden beoordeeld afkomstig is uit regio’s die ondervertegenwoordigd zijn in die trainingsdatasets, is dit zorgwekkend.

Er is ook nog het probleem met de trainingsdata. Deze modellen zijn voornamelijk gebouwd op westerse datasets met een blanke meerderheid en zijn sterk scheefgetrokken ten gunste van mannen, wat een reële beperking is. Dit komt doordat de onderzoeks- en commerciële infrastructuur die deze datasets heeft gecreëerd (universiteiten, technologiebedrijven, overheidsidentificatieprogramma’s met toegankelijke archieven) geconcentreerd was in Noord-Amerika en Europa. De data weerspiegelt wie er aanwezig was. Onderzoek toont consequent het gevolg aan: een lagere nauwkeurigheid voor ondervertegenwoordigde etnische groepen . De mensen die het meest te lijden hebben onder fouten in dit systeem zijn dezelfde mensen voor wie de technologie het minst ontworpen is.

Voordat dit instrument echt gewicht in de schaal legt bij leeftijdsbepalingen, moeten drie dingen aantoonbaar waar zijn. De nauwkeurigheid moet worden gevalideerd op de daadwerkelijke populatie die ermee wordt beoordeeld – niet op een algemene referentiedataset, maar op uitgeputte, mogelijk ondervoede mensen die zijn gefotografeerd onder reële omstandigheden aan de grens.

Demografische prestatiegegevens moeten transparant worden gepubliceerd, uitgesplitst naar geslacht en etnische afkomst, met duidelijke protocollen voor wanneer resultaten buiten beschouwing moeten worden gelaten. Ten slotte moet de garantie dat een getrainde functionaris, en niet het algoritme, de uiteindelijke beslissing neemt, daadwerkelijk worden nageleefd en niet slechts een formaliteit zijn.

De interne toezichthouder van het ministerie van Binnenlandse Zaken constateerde dat het personeel van het verwerkingscentrum in Dover onvoldoende was opgeleid in de huidige beoordelingsmethoden . Het menselijke aspect is net zo belangrijk als de technologie. De onafhankelijke inspecteur erkende dat zonder een waterdichte test sommige beslissingen onvermijdelijk verkeerd zullen zijn, en dat dit met name zorgwekkend is als een kind de rechten en bescherming worden ontzegd waarop het recht heeft.

Leeftijdsschatting door AI alleen is geen waterdichte test. Maar mits zorgvuldig, transparant en met verantwoordingsplicht gebruikt, kan het een belangrijke bijdrage leveren aan het vaker nemen van de juiste beslissingen.