Elke week komt er een nieuw AI-model bij, maar welk model werkt nu echt goed voor jouw dagelijkse werkprocessen? Zapier heeft een eigen testmethode ontwikkeld om dat te beantwoorden: AutomationBench. Dit is een benchmark die meet hoe goed AI-modellen meerstaps-workflows uitvoeren, niet alleen losse prompts. Voor ondernemers betekent dit dat je niet langer hoeft te gokken welk model je in je automatiseringen zet.

Wat er aan de hand is

Zapier, het platform waarmee je apps aan elkaar koppelt zonder te programmeren, heeft een overzicht gepubliceerd van alle AI-modellen die je via hun platform kunt gebruiken. Denk aan modellen van OpenAI, Anthropic, Google en andere aanbieders. Het bijzondere is dat Zapier deze modellen niet alleen op snelheid of tekstkwaliteit test, maar specifiek op hoe goed ze taken uitvoeren die uit meerdere stappen bestaan. Denk aan het ophalen van data uit een e-mail, het samenvatten ervan, en het vervolgens wegschrijven in een CRM-systeem. Volgens Zapier is dit de realiteit van de meeste MKB-workflows: geen losse vragen, maar ketens van acties.

Wat dit betekent

Voor ondernemers betekent dit dat de keuze voor een AI-model niet langer afhangt van marketingclaims of algemene scores, maar van prestaties in jouw type werk. Een model dat goed is in het schrijven van teksten, kan slecht zijn in het correct uitvoeren van een stappenplan met data uit meerdere bronnen. Zapier geeft per model aan waar het in uitblinkt. Voor een klein bedrijf dat bijvoorbeeld offertes automatisch laat genereren op basis van binnenkomende e-mails, is het cruciaal om een model te kiezen dat foutloos door een keten van acties heen komt. Een verkeerde keuze leidt tot fouten in je administratie of gemiste klantvragen.

Hoe je dit kunt toepassen

Als je een webshop runt en bestellingen automatisch wilt verwerken… Je zou kunnen beginnen met het testen van een model dat hoog scoort op AutomationBench voor taken met gestructureerde data, zoals het uitlezen van orderbevestigingen en het bijwerken van je voorraadsysteem. Overweeg om niet direct het duurste of meest bekende model te kiezen, maar een model dat specifiek goed presteert in het verwerken van tabellen en getallen. Zapier biedt de mogelijkheid om binnen een Zap te wisselen van model, dus je kunt eenvoudig A/B-testen welk model de minste fouten maakt in jouw specifieke stroom.

Als je een team aanstuurt en notulen van vergaderingen automatisch laat verwerken… Een mogelijkheid is om een model te kiezen dat uitblinkt in het samenvatten van lange teksten en het extraheren van actiepunten. Let daarbij op of het model ook goed overweg kan met het koppelen van die actiepunten aan taken in je projectmanagementtool. Je zou kunnen starten met een lichter model voor de eerste stap (transcriptie) en een zwaarder model voor de analyse, om kosten te besparen. Zapier laat je per stap in een workflow een ander model kiezen.

Als je in de zakelijke dienstverlening werkt en klantvragen automatisch beantwoordt… Overweeg om een model te gebruiken dat specifiek getraind is op veiligheid en consistentie, zoals sommige modellen van Anthropic. Dit is vooral relevant als je te maken hebt met gevoelige klantdata. Je zou kunnen testen of het model de juiste toon behoudt en geen informatie verzint. Een optie is om een eenvoudige Zap te bouwen die een testvraag door meerdere modellen haalt en de antwoorden naast elkaar zet, zodat je zelf kunt beoordelen welk model het beste past bij jouw klantcontact.

Als je een administratief medewerker bent die facturen en bonnetjes verwerkt… Een praktische toepassing is het inzetten van een model dat hoog scoort op het herkennen van gestructureerde data uit afbeeldingen en PDF’s. Je zou kunnen beginnen met het automatisch laten uitlezen van inkomende facturen via een Zap, waarbij het model de gegevens direct in je boekhoudpakket plaatst. Test eerst met een paar voorbeeldfacturen om te zien of het model bedragen, btw-nummers en data foutloos overneemt. De praktische toepassing hangt af van jouw situatie, maar de AutomationBench-resultaten van Zapier geven je een objectieve basis om te kiezen.

Bron: Zapier