Een groot taalmodel kan een antwoord geven dat heel overtuigend klinkt, maar toch fout is. Dit is een fundamenteel probleem voor ondernemers die AI willen gebruiken voor belangrijke beslissingen, van financiële analyses tot klantenservice. Traditioneel werd de betrouwbaarheid vaak gemeten door hetzelfde model meerdere keren dezelfde vraag te stellen. Als het steeds hetzelfde antwoord gaf, werd dat gezien als een teken van zekerheid. Onderzoekers van het MIT stellen nu dat deze methode, die het zelfvertrouwen van het model meet, onvoldoende is. Een model kan namelijk ook heel zelfverzekerd een fout antwoord blijven herhalen.

Het verschil tussen zelfvertrouwen en echte zekerheid

De kern van het probleem is dat de interne zekerheid van één model niet genoeg zegt over de juistheid van zijn output. Om dit te verbeteren, ontwikkelden de onderzoekers een nieuwe aanpak. In plaats van alleen naar één model te kijken, vergelijken ze het antwoord van het doelmodel met de antwoorden van een groep vergelijkbare modellen. Ze meten de mate van overeenstemming of onenigheid tussen deze verschillende modellen. Deze ‘cross-model disagreement’ blijkt volgens het onderzoek een betrouwbaardere indicator te zijn voor onzekerheid dan de traditionele methoden. Het idee is vergelijkbaar met het vragen van een tweede, onafhankelijk advies.

Een totaalplaatje voor betere beslissingen

De onderzoekers combineerden deze nieuwe methode van modelvergelijking met de bestaande methode van zelfconsistentie. Hierdoor ontstaat een totaalmeting voor onzekerheid. Ze testten deze gecombineerde aanpak op tien realistische taken, zoals vraag-antwoord en wiskundig redeneren. Volgens hun paper presteerde deze totale onzekerheidsmeting consistent beter dan andere methoden in het identificeren van onbetrouwbare voorspellingen. Het biedt een robuuster signaal om te bepalen wanneer je de output van een AI-model met een korreltje zout moet nemen of moet controleren.

Hoe kun je dit vandaag toepassen?

De praktische toepassing hangt af van jouw situatie. Als je AI gebruikt voor kritieke processen, zou je kunnen overwegen om niet blind te varen op de output van één enkel model of tool. Een mogelijkheid is om, waar haalbaar, dezelfde vraag aan verschillende AI-systemen voor te leggen en de antwoorden te vergelijken. Dit sluit aan bij de onderzoeksmethode van het vergelijken van meerdere modellen om een betrouwbaarder beeld te krijgen.

De toepassingen in dit artikel zijn suggesties op basis van het bronartikel, geen gevalideerd advies.

Bron: MIT News