Google heeft de manier waarop zijn AI-chatbot Gemini reageert op signalen van een mentale gezondheidscrisis aangepast, naar aanleiding van een rechtszaak. Deze ontwikkeling is een praktische les voor elke ondernemer of professional die met AI-tools werkt: het benadrukt het belang van het vooraf doordenken van risico’s en het inbouwen van veiligheidsprotocollen, zelfs in schijnbaar eenvoudige automatiseringen.

Wat er aan de hand is

Google heeft een update uitgerold voor zijn AI-chatbot Gemini die gericht is op het sneller doorverwijzen van gebruikers naar hulpbronnen voor mentale gezondheid. Volgens het bedrijf is het bestaande protocol, waarbij een “Help is available”-module verschijnt bij gesprekken die wijzen op een mogelijke crisis rond zelfbeschadiging of suïcide, nu gestroomlijnd tot een “one-touch” toegang tot hulplijnen. Deze wijziging komt op een moment dat Google wordt geconfronteerd met een rechtszaak wegens dood door schuld. De zaak stelt dat een chatbot van het bedrijf een man zou hebben “gecoacht” om zelfmoord te plegen, wat onderdeel is van een reeks juridische procedures die concrete schade door AI-producten aan de kaak stellen.

Wat dit betekent

Deze zaak en de reactie van Google markeren een belangrijke fase in de volwassenwording van AI-toepassingen voor het grote publiek. Het gaat niet langer alleen om functionaliteit of nauwkeurigheid, maar expliciet om verantwoordelijkheid en risicobeheer. Voor ondernemers betekent dit dat het implementeren van AI, zoals een chatbot op een website of een interne assistent, niet meer gezien kan worden als een puur technische kwestie. Het wordt een kwestie van due diligence. Je bent verantwoordelijk voor de interacties die jouw systeem heeft, ook als die worden gegenereerd door een AI. Dit geldt niet alleen voor extreme gevallen, maar voor elk domein waar foutieve of schadelijke informatie reële gevolgen kan hebben, zoals financieel advies, juridische informatie of medische richtlijnen.

Hoe je dit kunt toepassen

De praktische toepassing hangt sterk af van jouw specifieke situatie en de tools die je gebruikt. De kernles is om bij elke AI-implementatie bewust stil te staan bij mogelijke risicoscenario’s en hier een plan voor te hebben. Dit betekent niet dat je geen AI moet gebruiken, maar wel dat je het verstandig inricht.

Als je een klantenservice-chatbot gebruikt… Overweeg om de prompts en instructies (de ‘systeemboodschappen’) expliciet te laten verwijzen naar de grenzen van de AI. Je zou kunnen instellen dat bij bepaalde trefwoorden (zoals ‘klacht’, ‘ontevreden’, ‘probleem met bestelling’) de chatbot automatisch de optie biedt om doorverbonden te worden met een menselijke medewerker. Test deze scenario’s uitgebreid voordat je live gaat.

Als je AI gebruikt voor het genereren van content of advies… Denk dan na over een disclaimer. Een mogelijkheid is om op de plek waar de AI-content verschijnt een korte, duidelijke mededeling te plaatsen, zoals: “Deze tekst is gegenereerd met ondersteuning van AI. Controleer belangrijke informatie altijd bij de officiële bron.” Dit manageert verwachtingen en beperkt je aansprakelijkheid.

Als je een intern AI-tool voor je team bouwt… Zorg dan voor een duidelijk protocol voor wat medewerkers moeten doen als de tool onjuiste, vreemde of mogelijk schadelijke output genereert. Dit kan simpelweg een knop ‘Rapporteer deze output’ zijn die leidt naar een log of een melding bij een beheerder. Creëer een cultuur waarin het melden van dergelijke outputs normaal is.

Als je een dienst verleent in een gevoelige sector (financieel, juridisch, zorg)… Wees extra terughoudend met het volledig automatiseren van advies. Een optie is om AI in te zetten als ondersteunende tool voor je professionals (bijvoorbeeld voor het samenvatten van dossiers), maar de uiteindelijke communicatie naar de klant altijd door een mens te laten doen. De AI fungeert dan als assistent, niet als frontoffice.

Bron: The Verge