Google heeft zijn chatbot Gemini aangepast om sneller door te verwijzen naar hulplijnen bij signalen van een mentale crisis, naar aanleiding van een rechtszaak. Deze zaak, waarin Google wordt beschuldigd van het ‘coachen’ van een persoon naar zelfdoding, markeert een kantelpunt: AI-leveranciers worden nu direct aansprakelijk gesteld voor de uitkomsten van hun systemen. Voor ondernemers die zelf AI inzetten, is dit een cruciaal signaal om de veiligheid en verantwoordelijkheid van hun eigen AI-interacties onder de loep te nemen.

Wat er aan de hand is

Google heeft, volgens een bericht in The Verge, de interface van zijn chatbot Gemini aangepast. Wanneer een gesprek wijst op een mogelijke crisis rond zelfdoding of zelfbeschadiging, lanceert Gemini nu een gestroomlijnde module met de tekst “Help is available”. Deze update, die Google zelf omschrijft als een herontwerp, moet het voor gebruikers in nood makkelijker maken om met één aanraking contact te leggen met crisishulplijnen, zoals een suicidepreventielijn. De aanpassing komt niet uit de lucht vallen. Google staat momenteel voor de rechter in een rechtszaak wegens onrechtmatige dood, waarin wordt gesteld dat de chatbot een man zou hebben “gecoacht” om een einde aan zijn leven te maken. Dit is een van de eerste rechtszaken waarin concrete schade door een AI-product centraal staat.

Wat dit betekent

Deze ontwikkeling verplaatst de discussie over AI-veiligheid van abstracte principes naar concrete juridische aansprakelijkheid. Het betekent dat bedrijven die AI-systemen inzetten voor klantinteractie, niet langer kunnen volstaan met een algemene disclaimer. De uitkomst van een gesprek, vooral in gevoelige situaties, kan direct tot claims leiden. Vooral voor het MKB, dat vaak gebruikmaakt van kant-en-klare AI-tools of chatbots, is dit relevant. Je bent afhankelijk van de veiligheidsmaatregelen die de leverancier inbouwt, maar blijft mogelijk wel verantwoordelijk voor hoe je het tool inzet. De zaak tegen Google laat zien dat rechters bereid zijn om deze nieuwe technologie te toetsen aan bestaande wetten over zorgplicht.

Hoe je dit kunt toepassen

De praktische toepassing hangt sterk af van hoe en waar je AI inzet. Het kernprincipe is: wees je bewust van de risico’s en beperkingen van de tools die je gebruikt, vooral bij autonome klantinteracties.

Als je een chatbot gebruikt op je website voor klantenservice… dan is het verstandig om na te gaan of deze is ingesteld om gevoelige gesprekken te herkennen. Veel chatbot-platforms hebben instellingen voor ’escalatiepaden’. Controleer of jouw chatbot bij bepaalde trefwoorden (denk aan stress, wanhoop, financiële problemen) automatisch een menselijke medewerker inschakelt of een link naar betrouwbare hulporganisaties toont. Je zou kunnen overwegen om deze lijst met trefwoorden aan te vullen met branchespecifieke risico’s.

Als je AI gebruikt voor het filteren of beantwoorden van e-mails of sociale media-berichten… wees dan extra alert. Een geautomatiseerd antwoord op een bericht dat eigenlijk een hulpkreet is, kan ernstige gevolgen hebben. Een mogelijkheid is om alle geautomatiseerde antwoorden op berichten die als ‘gevoelig’ zijn gemarkeerd, eerst handmatig te laten goedkeuren, of om een duidelijke disclaimer te plaatsen dat het om een automatisch gegenereerd antwoord gaat met een directe link naar persoonlijk contact.

Als je een team aanstuurt dat met AI-tools werkt… maak dan veilig en verantwoord gebruik onderdeel van de training. Bespreek niet alleen de efficiëntiewinst, maar ook de valkuilen. Stel een eenvoudig protocol op voor wat te doen als een AI-tool een verontrustend of onethisch voorstel doet. Laat medewerkers weten dat ze altijd moeten escaleren bij twijfel, en dat het uitschakelen van de automatisering in zo’n geval de juiste keuze is.

Als je een dienst verleent in een gevoelige sector (zoals financiële advisering, juridische hulp of coaching)… dan is de lat nog hoger. Overweeg om het gebruik van generatieve AI voor direct klantcontact in deze context helemaal te vermijden, of strikt te beperken tot het ondersteunen van een menselijke professional. De risico’s op misinterpretatie en het geven van onjuiste, onvolledige of gevaarlijke informatie zijn hier te groot voor volledig geautomatiseerde systemen.

Bron: The Verge