Een van de grootste risico’s bij het gebruik van AI-tools zoals ChatGPT is dat ze antwoorden geven die heel geloofwaardig klinken, maar gewoon fout zijn. Onderzoekers van het MIT hebben nu een methode ontwikkeld die dit probleem beter kan opsporen dan de gebruikelijke technieken. Het gaat niet om het meten van de zelfverzekerdheid van het model, maar om het meten van de betrouwbaarheid van zijn antwoorden. Voor ondernemers die AI inzetten voor belangrijke beslissingen, is dit een cruciaal verschil.

Waarom zelfvertrouwen niet genoeg is

Veelgebruikte methodes om de betrouwbaarheid van een AI-model te checken, meten vooral zijn zelfvertrouwen. Een populaire aanpak is om dezelfde vraag meerdere keren te stellen en te kijken of het model steeds hetzelfde antwoord geeft. Als dat zo is, lijkt het model zelfverzekerd. Het probleem is dat zelfs de meest indrukwekkende AI-modellen vol overtuiging foute antwoorden kunnen geven. Deze overmoed kan gebruikers misleiden over de nauwkeurigheid van een voorspelling, met mogelijk desastreuze gevolgen in risicovolle sectoren zoals de gezondheidszorg of financiën.

Een betere maatstaf: vergelijken met andere modellen

De onderzoekers van het MIT pakten dit probleem aan door een ander type onzekerheid te meten. In plaats van alleen te kijken naar de interne consistentie van één model, vergeleken ze het antwoord van het doelmodel met de antwoorden van een groep vergelijkbare AI-modellen. Ze ontdekten dat het meten van deze ‘kruis-model-onenigheid’ veel nauwkeuriger aangeeft wanneer een model fout zit dan de traditionele methodes. Vervolgens combineerden ze deze nieuwe aanpak met de bestaande maat voor zelfconsistentie, wat resulteerde in een totale onzekerheidsmeting.

De test in de praktijk

Deze nieuwe totale onzekerheidsmeting werd getest op tien realistische taken, zoals vraag-antwoord en wiskundig redeneren. Volgens de onderzoekers presteerde hun methode consistent beter dan andere meetmethoden en was hij effectiever in het identificeren van onbetrouwbare voorspellingen. Kimia Hamidieh, de hoofdauteur van het onderzoek, legt uit dat als je schatting van onzekerheid alleen afhangt van de uitkomst van één model, dit niet per se betrouwbaar is. Door de beperkingen van bestaande methodes als uitgangspunt te nemen, ontwierpen ze een aanvullende methode die de resultaten empirisch kan verbeteren.

Hoe kun je dit vandaag toepassen?

De kern van dit onderzoek is dat je de uitkomst van één AI-model niet blindelings moet vertrouwen, hoe zelfverzekerd het ook klinkt. Voor ondernemers en professionals betekent dit dat je een eenvoudige, praktische check kunt inbouwen in je werkproces om de betrouwbaarheid te vergroten.

Als je een AI-tool gebruikt voor het opstellen van contracten of juridische documenten. Een mogelijkheid is om dezelfde prompt niet alleen meerdere keren aan hetzelfde model te geven, maar ook aan een ander, vergelijkbaar model. Vergelijk de uitkomsten. Als er fundamentele verschillen zijn in de interpretatie of aanbeveling, is dat een duidelijk signaal om extra menselijke controle toe te passen voordat je verder gaat.

Als je een AI-chatbot op je website hebt voor klantenservice. Je zou kunnen overwegen om de antwoorden van je primaire model te laten controleren door een kleiner, gespecialiseerd model dat is getraind op je veelgestelde vragen. Discrepanties tussen de twee kunnen worden geflagd voor review door een medewerker, waardoor je de kwaliteit waarborgt en risico’s op misinformatie beperkt.

Als je data-analyse of marktvoorspellingen deelt op basis van AI. Overweeg om niet één model te gebruiken, maar dezelfde vraag aan verschillende AI-tools te stellen, bijvoorbeeld zowel via de API van OpenAI als via een ander platform zoals Anthropic of een open-source model. De mate van overeenstemming tussen deze verschillende ’experts’ geeft een veel beter beeld van de betrouwbaarheid van de conclusie dan de zelfverzekerdheid van één tool.

Als je AI inzet voor het screenen van sollicitaties of het beoordelen van prestaties. Dit is een hoog-risico toepassing waar bias en fouten grote impact hebben. Een mogelijke stap is om een eenvoudig validatieproces op te zetten waarbij een subset van de AI-beoordelingen wordt nagekeken door een tweede, onafhankelijk systeem of door een menselijke validator. De methode uit het onderzoek suggereert dat juist het vergelijken van verschillende perspectieven de zwakke punten blootlegt.

De praktische les is niet dat je een team van AI-modellen moet onderhouden, maar wel dat je kritisch moet zijn op de bron van je informatie. Het checken van een belangrijk AI-antwoord tegen een andere, onafhankelijke bron – of dat nu een ander AI-model, een expert of je eigen kennis is – is een simpele maar krachtige manier om de betrouwbaarheid van je tools te vergroten.

Bron: MIT News