De belangrijkste publieke ranglijst voor grote taalmodellen, Arena, wordt gefinancierd door dezelfde AI-bedrijven wiens modellen hij beoordeelt. Dit roept vragen op over onafhankelijkheid en objectiviteit. Voor ondernemers die een AI-model kiezen voor hun bedrijf, is het cruciaal om te begrijpen hoe zulke rankings tot stand komen en waar de belangen liggen.

Wat is Arena en waarom is het belangrijk?

Arena, voorheen bekend als LM Arena, is een platform waar gebruikers twee anonieme AI-chatbots tegen elkaar kunnen laten strijden en de beste kunnen kiezen. Het resultaat is een publieke leaderboard die in korte tijd enorm invloedrijk is geworden. Volgens het artikel beïnvloedt deze ranking financieringsrondes, lanceringen en PR-cycli in de AI-industrie. Het is in feite de de facto standaard geworden om te zien welk ‘frontier’ model op een bepaald moment het beste presteert.

Het financieringsmodel en de mogelijke belangenverstrengeling

Het opmerkelijke aan Arena is zijn financiering. Het platform wordt gesteund door een consortium van grote AI-bedrijven, waaronder de bedrijven wiens modellen op de ranglijst staan. Hoewel dit volgens de oprichters nodig is om de dure infrastructuur te bekostigen, plaatst het wel een vraagteken bij de volledige onafhankelijkheid van de ranking. Het is een klassiek voorbeeld van hoe de partij die de wedstrijd organiseert, betaald wordt door de deelnemende atleten.

Hoe herken je een ‘gegame-de’ ranking als ondernemer?

Als je als ondernemer op zoek bent naar het juiste AI-model, is het verstandig om niet blindelings af te gaan op één ranking. Een mogelijkheid is om altijd te vragen naar de methode en financiering achter een vergelijking. Kijk of de ranking gebaseerd is op een breed scala aan praktijkcases of slechts op een specifieke, smalle taak. Een andere optie is om te controleren of er transparantie is over hoe de modellen worden getest en of de resultaten reproduceerbaar zijn door derden.

De praktische impact op jouw keuze

De keuze voor een AI-model kan een aanzienlijke investering in tijd en geld betekenen. Een ranking die beïnvloedbaar is, kan je dus op het verkeerde been zetten. Het betekent dat het model dat bovenaan staat misschien niet het beste is voor jouw specifieke gebruik, zoals het verwerken van klantvragen in het Nederlands of het samenvatten van interne rapporten. De ranking meet vaak algemene, Engelstalige capaciteiten, niet de niche die voor jouw bedrijf relevant is.

Hoe kun je dit vandaag toepassen?

De praktische toepassing hangt af van jouw situatie. Via geprompt.nl/stel-je-vraag kun je een vraag stellen die we uitwerken tot een artikel op maat.

De toepassingen in dit artikel zijn suggesties op basis van het bronartikel, geen gevalideerd advies.

Bron: Techcrunch