De meeste AI-tools die je tegenkomt zijn meesters in het herkennen van patronen. Ze zijn getraind op enorme hoeveelheden data en kunnen daaruit slimme antwoorden genereren. Maar als je ze een compleet nieuw probleem voorlegt dat ze niet eerder hebben gezien, vallen ze vaak door de mand. Dat is precies wat de nieuwe benchmark ARC-AGI-3 test: kan een AI-systeem redeneren en een oplossing bedenken voor iets wat het nooit eerder heeft meegemaakt? Voor ondernemers is dit onderscheid essentieel. Een tool die alleen patronen herhaalt, kan je bedrijfsprocessen automatiseren. Een tool die kan redeneren, kan je helpen bij het oplossen van onverwachte problemen en het innoveren.

De ARC-AGI-3-test, ontwikkeld door de non-profit ARC Prize Foundation, bestaat uit een reeks visuele puzzels. Het zijn problemen die een mens met gezond verstand en logisch redeneren kan oplossen, maar die niet terug te vinden zijn in de trainingsdata van AI-modellen. Volgens de ontwikkelaars worstelen zelfs de meest geavanceerde AI-systemen, zoals die van OpenAI en Google, nog steeds met deze taken. Het doel is niet om AI af te rekenen, maar om een duidelijke meetlat te creëren voor wat vaak ‘artificiële algemene intelligentie’ of ‘redeneervermogen’ wordt genoemd. Het laat zien waar de huidige grenzen liggen.

Voor jou als ondernemer betekent dit dat je kritischer moet kijken naar de claims van AI-leveranciers. Wanneer een tool belooft dat hij ’elk probleem kan oplossen’ of ‘volledig autonoom kan werken’, is het verstandig om te vragen naar het onderliggende redeneervermogen. Kan de tool omgaan met uitzonderingen op de regel? Kan hij een logische conclusie trekken uit nieuwe, tegenstrijdige informatie? De uitdagingen van ARC-AGI-3 tonen aan dat dit voor AI nog niet vanzelfsprekend is. Het benadrukt het verschil tussen een zeer geavanceerde patroonherkenner en een systeem dat werkelijk begrijpt.

Hoe kun je dit vandaag toepassen?

Deze kennis helpt je niet om zelf een benchmark te bouwen, maar wel om slimmere keuzes te maken in welke AI je vertrouwt voor cruciale taken in je bedrijf. Het gaat om het stellen van de juiste vragen en het managen van verwachtingen.

Als je een AI-tool overweegt voor klantenservice. Veel chatbots zijn uitstekend in het beantwoorden van veelgestelde vragen uit een kennisbank. Maar stel je voor: een klant beschrijft een specifiek, complex probleem dat nog nooit eerder is gemeld. Een tool die alleen patronen herkent, zal een algemeen of fout antwoord geven. Je zou kunnen vragen aan de leverancier hoe hun systeem omgaat met volledig nieuwe vragen. Vraag naar concrete voorbeelden of test het zelf met een uniek scenario dat niet in je handleiding staat.

Als je AI gebruikt voor data-analyse of voorspellingen. Modellen die trends voorspellen op basis van historische data zijn krachtig. Maar ze kunnen falen bij een ‘zwarte zwanen’-gebeurtenis, iets radicaal nieuws dat alle patronen doorbreekt. Een mogelijke stap is om altijd een menselijke expert te betrekken bij de interpretatie van AI-uitkomsten, vooral wanneer de omstandigheden ongebruikelijk zijn. Zie de AI als een zeer snelle analist, niet als een onfeilbare orakel.

Als je software ontwikkelt of laat ontwikkelen met AI-hulp. Codetools zoals GitHub Copilot zijn briljant in het suggereren van standaardcodefragmenten. Voor het ontwerpen van een geheel nieuwe, elegante architectuur voor een uniek probleem zijn ze vaak minder geschikt. Een optie is om de AI te gebruiken voor routinewerk en herhalende taken, maar het creatieve ontwerp en de oplossing van architectonische vraagstukken over te laten aan menselijke ontwikkelaars.

Als je investeert in automatisering van bedrijfsprocessen. Automatisering op basis van vaste regels (als X, dan Y) is betrouwbaar. Wanneer je AI introduceert om beslissingen te nemen in ongestructureerde processen, zoals het beoordelen van kredietaanvragen of het scannen van cv’s, loop je het risico dat het systeem onverklaarbare fouten maakt bij afwijkingen. Overweeg om in dergelijke gevallen een menselijke validatiestap in te bouwen voor alle uitzonderingsgevallen die het systeem signaleert.

Als je een strategie of marketingplan maakt met AI-insights. Een taalmodel kan een marketingplan genereren gebaseerd op duizenden bestaande plannen. Het zal echter moeite hebben om een werkelijk vernieuwende campagne te bedenken voor een markt die nog niet bestaat. Je zou de AI kunnen gebruiken voor research en het structureren van informatie, maar de creatieve sprong en het strategische inzicht moeten vanuit jezelf en je team komen. De benchmark herinnert ons eraan dat echte innovatie vaak verder gaat dan het herkennen van patronen.

Bron: Fastcompany