Taalmodellen zoals ChatGPT kunnen overtuigende antwoorden geven die toch onjuist zijn. Dit overmoedige gedrag is een risico, zeker als je zakelijke beslissingen baseert op de output. Onderzoekers van het MIT hebben nu een methode ontwikkeld die dit soort overmoed beter kan identificeren dan bestaande technieken.

De gebruikelijke manier om de betrouwbaarheid van een AI-model te checken, is door het dezelfde vraag meerdere keren te stellen. Als het steeds hetzelfde antwoord geeft, lijkt het zelfverzekerd. Maar zelfs de meest indrukwekkende modellen kunnen vol overtuiging fouten maken. Deze overmoed kan gebruikers misleiden over de nauwkeurigheid van een voorspelling, met mogelijk ernstige gevolgen in sectoren als gezondheidszorg of financiën.

Een nieuwe manier om onzekerheid te meten

Om dit probleem aan te pakken, introduceerden de MIT-onderzoekers een nieuwe methode die een ander type onzekerheid meet. In plaats van alleen te kijken naar de interne consistentie van één model, vergelijken ze het antwoord van het doelmodel met de antwoorden van een groep vergelijkbare taalmodellen. Ze ontdekten dat het meten van deze ‘cross-model disagreement’ – de mate waarin modellen het onderling oneens zijn – dit type onzekerheid nauwkeuriger vastlegt dan traditionele benaderingen.

Vervolgens combineerden ze deze nieuwe aanpak met de bestaande maat voor zelfconsistentie. Dit leidde tot een totale onzekerheidsmetriek. Toen ze deze methode evalueerden op tien realistische taken, zoals vraag-antwoord en wiskundig redeneren, bleek deze totale metriek consequent beter te presteren dan andere methoden. Het was effectiever in het identificeren van onbetrouwbare voorspellingen.

Kimia Hamidieh, hoofdauteur van het onderzoek, legt uit dat zelfconsistentie in veel benaderingen wordt gebruikt, maar dat een schatting van onzekerheid die alleen op de uitkomst van één model vertrouwt, niet per se betrouwbaar is. De nieuwe methode is ontworpen als een complementaire aanpak om de resultaten empirisch te verbeteren.

Hoe kun je dit vandaag toepassen?

Deze onderzoeksmethode is technisch, maar het principe is voor ondernemers direct relevant: vertrouw nooit blindelings op één bron of één AI-tool. Hier zijn enkele manieren om dit inzicht in je dagelijkse werk te integreren.

Als je marktonderzoek doet met een AI-tool… zou je dezelfde vraag kunnen voorleggen aan verschillende modellen, zoals ChatGPT, Claude en Gemini. Vergelijk de antwoorden. Als ze allemaal ongeveer hetzelfde zeggen, is de informatie waarschijnlijk betrouwbaarder dan wanneer er grote verschillen zijn. Dit simpele kruisbestuivingsprincipe past direct aan bij de onderzoeksmethode.

Als je een financiële analyse of prognose laat maken… is een mogelijkheid om de AI-output niet als eindconclusie te zien, maar als één van meerdere inputbronnen. Je zou de AI-voorspelling kunnen naast je eigen spreadsheet-modellen of historische data kunnen leggen. Grote afwijkingen zijn een signaal om extra kritisch te zijn.

Als je klantenservice-antwoorden automatiseert met een chatbot… overweeg dan om een testprotocol in te bouwen. Stel een set kritische vragen en laat meerdere AI-modellen of verschillende versies van je eigen systeem er antwoorden op genereren. De mate van overeenkomst tussen die antwoorden geeft een indicatie van de robuustheid van de informatie.

Als je content laat genereren die feitelijk correct moet zijn… zoals productbeschrijvingen met technische specificaties, dan is een stap om de AI-output altijd te laten controleren door een menselijke expert of door een geautomatiseerde feitencheck tegen een betrouwbare database. De AI fungeert dan als assistent, niet als eindverantwoordelijke.

Als je een AI-tool evalueert voor aanschaf… kun je in je testfase specifiek letten op overmoed. Stel niet alleen vragen waar je het antwoord niet op weet, maar ook vragen waar je het antwoord wel op weet. Observeer of de tool fouten maakt met veel zelfvertrouwen. Dit geeft inzicht in het risicoprofiel van de tool voor jouw gebruik.

De kern is dat je AI als een krachtige, maar feilbare collega behandelt. Zijn mening is waardevol, maar wordt nog waardevoller als je hem confronteert met andere perspectieven – of dat nu andere AI’s zijn of je eigen expertise.

Dit artikel is geschreven door de redactie van geprompt.nl.

Bron: MIT News