Miljoenen mensen bouwen inmiddels hun eigen AI-chatbots, maar weten pas hoe die zich gedragen als de chatbot al live is. Onderzoekers van MIT introduceren daarom ’neural transparency’: een methode die al vóór de lancering inzichtelijk maakt hoe een AI zich waarschijnlijk zal gedragen. Voor Nederlandse ondernemers die klantcontact willen automatiseren, betekent dit een manier om risico’s als ongewenste reacties of hallucinaties te zien aankomen.

Wat er aan de hand is

Onderzoekers van het MIT Media Lab, onder leiding van assistent-professor Pat Pataranutaporn, presenteren deze week op de ACM Conference on Intelligent User Interfaces een paper over ’neural transparency’. De tool is ontwikkeld door Pataranutaporn en zijn studenten Anthony Baez en Sheer Karny. Het idee is vergelijkbaar met een hersenscan voor AI: gebruikers kunnen in het neurale netwerk van een taalmodel kijken voordat de chatbot ook maar één woord heeft gezegd.

De werkwijze is gebaseerd op het vergelijken van interne activaties in het model. De onderzoekers kiezen gedragskenmerken zoals empathie, eerlijkheid, toxiciteit, hallucinatie of vleierij. Vervolgens vergelijken ze hoe het model intern reageert wanneer het wordt gevraagd één eigenschap te tonen versus het tegenovergestelde. Het verschil vormt een soort ‘gedragsrichting’ in het model. Wanneer een gebruiker een eigen systeemprompt schrijft — de instructies die het gedrag van de chatbot bepalen — kan de tool inschatten hoe die prompt het gedrag zal beïnvloeden. De focus ligt bewust op het ontwerpmoment, niet op het oplossen van problemen achteraf.

Wat dit betekent

Voor ondernemers die overwegen om AI-chatbots in te zetten voor klantcontact, is dit relevant omdat de meeste gebruikers nu nog blind varen op hun eigen prompts. Ze ontdekken pas tijdens gebruik of een chatbot ongepast reageert, onjuiste informatie geeft of klanten op het verkeerde been zet. Dat kan leiden tot reputatieschade of klachten die je liever voor bent.

De onderzoekers benadrukken dat de inzet hoog is. AI-chatbots worden ingezet als tutors, coaches, creatieve partners en zelfs metgezellen. In een zakelijke context gaat het vaak om klantenservice of verkoopondersteuning. Een chatbot die onbedoeld bot of juist té vleiend reageert, kan klantrelaties beschadigen. Neural transparency biedt een manier om dat gedrag te voorspellen voordat je de chatbot aan je klanten presenteert. Het is nog een onderzoeksmethode, maar het signaleert een verschuiving: van achteraf repareren naar vooraf inschatten.

Hoe je dit kunt toepassen

Als je een webshop runt en een chatbot wilt inzetten voor klantvragen… Je zou kunnen overwegen om eerst een interne testfase in te bouwen waarin je verschillende systeemprompts schrijft en beoordeelt hoe de chatbot reageert op veelvoorkomende klantvragen. Een mogelijke aanpak is om de chatbot te testen op eigenschappen als geduld en duidelijkheid, en te controleren of hij geen onjuiste informatie over levertijden of retouren geeft. De MIT-methode is nog niet commercieel beschikbaar, maar het principe — gedrag vooraf inschatten — kun je nu al toepassen door prompts systematisch te testen.

Als je een team aanstuurt dat AI-tools inzet voor content of communicatie… Een optie is om richtlijnen op te stellen voor welke systeemprompts acceptabel zijn en welke niet. Je zou kunnen vastleggen dat prompts die leiden tot overdreven enthousiaste of juist afwijzende reacties niet worden gebruikt. Het onderzoek laat zien dat kleine verschillen in prompts grote gevolgen kunnen hebben voor het gedrag van de AI. Door als team afspraken te maken over promptkwaliteit, verklein je het risico op ongewenste uitkomsten.

Als je in de zorg of een andere gevoelige sector werkt… Overweeg om extra voorzichtig te zijn met het automatiseren van klantcontact. De onderzoekers noemen hallucinatie en toxiciteit als gedragskenmerken die je vooraf zou willen controleren. In sectoren waar foutieve informatie grote gevolgen heeft, is het verstandig om AI-chatbots alleen in te zetten voor eenvoudige, gestandaardiseerde vragen en menselijke medewerkers het laatste woord te geven. De tool van MIT is nog in ontwikkeling, maar de onderliggende vraag — hoe weet je wat je AI doet voordat je hem loslaat — is nu al relevant.

Als je een AI-chatbot al hebt gelanceerd en twijfelt over de kwaliteit… Je zou kunnen overwegen om periodiek te evalueren hoe de chatbot reageert op verschillende prompts en die bevindingen te gebruiken om de systeemprompt aan te scherpen. Het onderzoek benadrukt dat het ontwerpmoment cruciaal is, maar dat betekent niet dat je achteraf niets meer kunt doen. Door reacties te monitoren en prompts bij te stellen, kun je gedrag sturen zonder dat je de technische werking van het model hoeft te begrijpen.

Bron: MIT News