Het antwoord: Zapier heeft een eigen testmethode ontwikkeld om AI-modellen te beoordelen op hoe goed ze meerstaps-workflows uitvoeren. Voor ondernemers betekent dit dat je niet langer hoeft te gokken welk model geschikt is voor jouw specifieke taken, zoals klantenservice, facturatie of leadgeneratie. De resultaten van deze AutomationBench geven je een praktische leidraad om de juiste keuze te maken.

Wat er aan de hand is

Zapier, het platform voor workflow-automatisering, test AI-modellen via AutomationBench. Dit is geen standaard benchmark die alleen statische prompts beoordeelt, maar een test die meet hoe goed modellen meerstaps-workflows uitvoeren. Denk aan processen zoals het ophalen van data uit een e-mail, het genereren van een antwoord, en het bijwerken van een CRM-systeem. Volgens Zapier worden er wekelijks nieuwe AI-modellen gelanceerd, en deze test helpt gebruikers te bepalen welk model het beste past bij hun specifieke workflows. De resultaten zijn bedoeld als een levende referentie, die regelmatig wordt bijgewerkt.

Wat dit betekent

Voor MKB’ers is dit relevant omdat het de keuze voor een AI-model concreter maakt. In plaats van te vertrouwen op algemene prestatiescores, kun je nu zien welk model goed presteert in een keten van acties. Dit is vooral belangrijk voor bedrijven die automatisering inzetten voor klantenservice, facturatie of leadgeneratie. Een model dat uitblinkt in het beantwoorden van een enkele vraag, kan bijvoorbeeld falen in het verwerken van een bestelling die meerdere stappen vereist. AutomationBench geeft inzicht in die praktische toepasbaarheid. Voor ondernemers die meerdere AI-modellen overwegen, biedt dit een manier om te vergelijken op basis van echte bedrijfsprocessen.

Hoe je dit kunt toepassen

Als je een webshop runt en klantenservice automatiseert, overweeg dan om modellen te testen die via Zapier zijn getest op meerstaps-workflows. Je zou kunnen beginnen met een model dat goed scoort op het verwerken van retouren, waarbij het een e-mail moet lezen, een retourlabel moet genereren en de voorraad moet bijwerken. Een mogelijkheid is om een Zap te maken die een AI-model inschakelt voor elke stap, en te kijken welk model de minste fouten maakt.

Als je een team aanstuurt dat facturatie verwerkt, kun je AutomationBench gebruiken om te bepalen welk model het beste is voor het omzetten van inkomende facturen naar gestructureerde data. Je zou kunnen experimenteren met een model dat eerst de factuur scant, vervolgens de bedragen en data extraheert, en ten slotte een betalingsherinnering genereert. Een optie is om twee modellen naast elkaar te zetten in aparte Zaps en de nauwkeurigheid te vergelijken.

Als je leadgeneratie automatiseert, is het zinvol om te kijken naar modellen die goed presteren in het verrijken van contactgegevens. Denk aan een workflow die een binnenkomend e-mailadres neemt, het controleert in een database, een persoonlijk bericht genereert en het opslaat in je CRM. Je zou kunnen overwegen om een model te kiezen dat volgens AutomationBench consistent is in het uitvoeren van deze keten, in plaats van alleen te vertrouwen op een hoge score voor tekstgeneratie.

Als je een klein team hebt en snel wilt schakelen, kun je de AutomationBench-resultaten gebruiken om te bepalen welk model het beste past bij jouw meest voorkomende workflow. Een mogelijkheid is om een lijst te maken van de drie belangrijkste processen in je bedrijf, en voor elk proces te checken welk model in de test het beste presteerde. Dit bespaart tijd omdat je niet zelf alle modellen hoeft uit te proberen.

Bron: Zapier (https://zapier.com/blog/ai-models-on-zapier)