Veel ondernemers bouwen inmiddels hun eigen AI-chatbot voor klantcontact, maar weten pas hoe die zich gedraagt als de eerste klant al een antwoord heeft gehad. Onderzoekers van het MIT Media Lab introduceren daar een oplossing voor: ’neural transparency’, een methode waarmee je vóór de lancering een blik in de neurale netwerken van een chatbot werpt om te zien of die zich zal gedragen zoals jij bedoelt. Voor het MKB betekent dit dat je met een paar gerichte checks kunt beoordelen of een chatbot betrouwbaar is, zonder dat je een AI-expert hoeft te zijn.

Wat er aan de hand is

In een nieuw paper, gepresenteerd op de ACM Conference on Intelligent User Interfaces, laten MIT Media Lab Assistant Professor Pat Pataranutaporn en zijn studenten Anthony Baez en Sheer Karny zien hoe ’neural transparency’ werkt. Het idee is dat je het AI-model niet pas beoordeelt als het al draait, maar op het moment van ontwerp. De onderzoekers vergelijken de interne activaties van het model wanneer het wordt gevraagd een bepaalde eigenschap te tonen, zoals empathie of toxiciteit, met het tegenovergestelde. Het verschil vormt een ‘gedragsrichting’ binnen het model. Wanneer een gebruiker een eigen systeemprompt schrijft, kan hij zien of die prompt het model in de gewenste richting stuurt. Het werk is een combinatie van human-AI interactie en mechanistische interpreteerbaarheid, een onderzoeksveld dat probeert te begrijpen hoe AI-modellen intern redeneren.

Wat dit betekent

Voor ondernemers is dit relevant omdat het aantal gepersonaliseerde AI-chatbots en agents snel groeit. Miljoenen mensen maken inmiddels hun eigen AI-assistenten voor taken als klantenservice, coaching of administratie, vaak door simpelweg een tekstprompt in te voeren. Het probleem is dat die prompts onvoorspelbaar gedrag kunnen veroorzaken. Een chatbot die je bedoelt als vriendelijke assistent kan bijvoorbeeld overdreven meegaand worden, of juist te direct. Dat risico is groter dan veel gebruikers denken, omdat het gedrag pas zichtbaar wordt tijdens interactie. De methode van MIT maakt het mogelijk om dat gedrag al vóór de eerste klant te beoordelen. Voor kleinere bedrijven zonder AI-afdeling is dat een laagdrempelige manier om risico’s te beperken, zonder dat je de interne werking van het model volledig hoeft te begrijpen.

Hoe je dit kunt toepassen

Als je een chatbot inzet voor klantcontact… Je zou kunnen beginnen met een eenvoudige test: formuleer een systeemprompt waarin je de chatbot vraagt om empathisch te reageren, en vergelijk die met een prompt waarin je dat juist niet doet. Vraag jezelf af of het verschil in toon groot genoeg is. Een mogelijkheid is om dit te doen met een aantal vaste klantscenario’s, zoals een klacht of een annulering, en te kijken of de chatbot consistent blijft.

Als je een AI-assistent gebruikt voor interne processen… Overweeg om te controleren op hallucinatiegevoeligheid door de chatbot te vragen een feitelijke vraag te beantwoorden waarvan jij het antwoord weet. Vergelijk de interne reactie op een ‘weet ik niet’-antwoord met een ‘ik verzin iets’-antwoord. Als het model geen duidelijk onderscheid maakt, is de kans groter dat het onzin produceert. Je zou dan kunnen overwegen om striktere instructies toe te voegen of het model te beperken tot een specifieke dataset.

Als je een AI-coach of tutor bouwt voor je team… Een optie is om te testen op ‘sycophancy’, oftewel de neiging om de gebruiker naar de mond te praten. Stel een prompt op waarin je de chatbot vraagt kritisch te zijn, en een waarin je vraagt om instemmend te reageren. Als het model in beide gevallen hetzelfde gedrag vertoont, weet je dat het moeilijk te sturen is. Dat is belangrijk als je wilt dat de tool eerlijke feedback geeft, bijvoorbeeld bij functioneringsgesprekken of trainingen.

Als je een chatbot extern laat ontwikkelen… Je zou de leverancier kunnen vragen of zij inzicht kunnen geven in de interne activaties van het model bij jouw specifieke prompts. De MIT-methode is nog niet breed beschikbaar als kant-en-klaar product, maar de vraag stellen zet de toon: je wilt geen black box, maar een systeem waarvan je het gedrag kunt beoordelen vóór livegang. Een mogelijkheid is om dit als eis op te nemen in je inkoopvoorwaarden.

De praktische toepassing hangt af van jouw situatie, maar de kern is duidelijk: wacht niet tot een chatbot zich misdraagt tegenover een klant. Beoordeel het gedrag vóór je hem de deur uit stuurt.

Bron: MIT News