AI-chatbots zoals GPT-4, Claude en Llama worden vaak gezien als gelijkmakers die voor iedereen toegankelijke kennis bieden. Onderzoek van het MIT Center for Constructive Communication toont echter een ander beeld. Deze systemen blijken systematisch slechter te presteren voor gebruikers die als kwetsbaarder kunnen worden gezien. Het gaat om mensen met een lagere Engelse taalvaardigheid, een minder formele opleiding of een niet-Amerikaanse achtergrond.
Voor deze gebruikers zijn de antwoorden van de chatbots minder accuraat en minder waarheidsgetrouw. Daarnaast weigeren de modellen vaker om überhaupt een antwoord te geven op hun vragen. In sommige gevallen reageren ze zelfs met neerbuigende of betuttelende taal. Dit staat haaks op het ideaal van democratische toegang tot informatie. De onderzoekers testten dit door vragen uit wetenschappelijke en feitelijke testdatasets te voorzien van korte gebruikersbiografieën. Vervolgens maten ze de prestaties van de modellen. De resultaten waren consistent: bij vragen van gebruikers met de genoemde kenmerken daalde de nauwkeurigheid significant.
Dit is geen klein technisch mankement, maar een fundamentele bias in de systemen. De modellen zijn getraind op enorme hoeveelheden tekst, voornamelijk afkomstig uit het Engels en uit bepaalde culturele en educatieve contexten. Ze leren daardoor onbewust patronen die deze ongelijkheid in stand houden. Voor een ondernemer die een chatbot inzet voor klantenservice, informatievoorziening of sales, is dit een direct risico. Je loopt het gevaar dat je een aanzienlijk deel van je doelgroep onbewust een slechtere service biedt, wat kan leiden tot gefrustreerde klanten, gemiste kansen en reputatieschade.
Hoe kun je dit vandaag toepassen?
Het MIT-onderzoek is een waarschuwing om niet blindelings uit te gaan van de neutraliteit van AI-tools. Als je een chatbot of een ander op taal gebaseerd AI-systeem gebruikt, is het verstandig bewust te zijn van deze potentiële bias. Je zou kunnen overwegen om je eigen gebruikersinteracties kritisch te bekijken. Krijg je klachten over onduidelijke of onvriendelijke antwoorden? Komen die vaker van bepaalde groepen? Dat kan een eerste aanwijzing zijn.
Als je een webshop runt met internationale klanten… Een mogelijke stap is om je chatbot niet alleen in het Nederlands, maar ook in de talen van je belangrijkste exportmarken te testen. Let daarbij niet alleen op vertaalfouten, maar ook op de toon en de volledigheid van de antwoorden. Vergelijk de reacties op dezelfde vraag in verschillende talen. Je zou kunnen overwegen om voor complexe vragen in minder voorkomende talen een fallback naar een menselijke medewerker in te bouwen.
Als je een AI-chatbot inzet voor interne HR-vragen van medewerkers… Dan is het extra belangrijk dat de informatie voor iedereen even toegankelijk en correct is. Je zou kunnen testen of vragen over bijvoorbeeld verlofregelingen of pensioenopbouw, gesteld in eenvoudiger Nederlands of door iemand die zich voorstelt als ’nieuw in het bedrijf’, hetzelfde accurate antwoord opleveren als een vraag in formele, juridische taal. Dit helpt om onbedoelde uitsluiting te voorkomen.
Als je als freelancer of consultant AI gebruikt om rapporten of adviezen te schrijven… Wees je dan bewust van de culturele en taalkundige bias in de output. De informatie die een tool als ChatGPT geeft, kan gekleurd zijn door zijn voornamelijk Engelstalige en Westerse trainingsdata. Voor een advies aan een lokale MKB’er in Nederland zou je de gegenereerde content altijd moeten controleren en aanpassen aan de specifieke context, wetgeving en taal van je opdrachtgever.
Als je een dienst verleent aan een divers publiek, zoals in de zorg, het onderwijs of de overheid… Dan is toegankelijkheid van informatie cruciaal. Overweeg om bij de aanschaf of ontwikkeling van een AI-chatbot expliciet te vragen naar de maatregelen die de leverancier neemt om bias te testen en te mitigeren. Je zou kunnen vragen naar hun testprocedures met diverse gebruikersgroepen. Dit stelt je in staat een beter geïnformeerde keuze te maken.
De kern is bewustwording. AI is een krachtig hulpmiddel, maar geen neutrale, universele oplossing. Door actief te testen op verschillende gebruikersscenario’s en kritisch te blijven op de output, kun je als ondernemer het risico op onbedoelde uitsluiting verkleinen en ervoor zorgen dat je technologie daadwerkelijk voor iedereen werkt.
Bron: MIT News