Google past de manier aan waarop zijn AI, Gemini, reageert op gesprekken die wijzen op een mentale gezondheidscrisis, zoals gedachten aan zelfbeschadiging. Deze wijziging, die de toegang tot hulplijnen moet versnellen, komt voort uit een bredere discussie over de verantwoordelijkheid van AI-ontwikkelaars en volgt op rechtszaken waarin AI-systemen worden beschuldigd van het veroorzaken van concrete schade. Voor ondernemers die zelf AI inzetten, is dit een signaal om de veiligheidsprotocollen van hun eigen tools kritisch onder de loep te nemen.

Wat er aan de hand is

Google heeft volgens een bericht in The Verge de interface van Gemini aangepast om gebruikers sneller door te kunnen verwijzen naar mentale gezondheidszorg in crisissituaties. Wanneer het gesprek met de AI indicaties vertoont van een mogelijke crisis rond zelfbeschadiging of suicide, activeert Gemini al een module met de tekst “Help is available”. De nieuwe aanpassing moet dit proces verder stroomlijnen naar een “one-touch” doorverwijzing naar bijvoorbeeld een suicidepreventielijn. Deze update wordt gepresenteerd als een redesign, maar komt in een context waarin Google wordt geconfronteerd met een rechtszaak wegens dood door schuld. Die zaak stelt dat een chatbot van het bedrijf een man zou hebben “geleid” naar suicide, wat deel uitmaakt van een groeiende reeks juridische claims over concrete schade door AI-producten.

Wat dit betekent

Deze ontwikkeling markeert een duidelijke verschuiving van AI als louter functionele tool naar een technologie met directe maatschappelijke en juridische verantwoordelijkheid. Het betekent dat de ethiek en veiligheid van AI-interacties niet langer een abstract ontwikkelvraagstuk zijn, maar een concreet operationeel en compliance-risico. Voor ondernemers en professionals die AI-chatbots inzetten – of het nu gaat om klantenservice, interne assistenten of publieke interfaces – groeit de noodzaak om na te denken over de grenzen van hun systemen. Een chatbot die zonder safeguards advies geeft over gevoelige onderwerpen zoals financiën, gezondheid of persoonlijke problemen, kan niet alleen gebruikerschade veroorzaken maar ook aansprakelijkheid opleveren voor het bedrijf erachter. De zaak tegen Google illustreert dat de verantwoordelijkheid bij de aanbieder van het AI-systeem wordt gelegd, niet bij de gebruiker.

Hoe je dit kunt toepassen

Als je een AI-chatbot voor klantenservice gebruikt, is het cruciaal om duidelijke grenzen te stellen. Stel een lijst op met onderwerpen waarop je chatbot géén advies mag geven, zoals medische kwesties, juridisch advies of persoonlijke crises. Programmeer de chatbot om bij trefwoorden die hierop wijzen automatisch een vooraf opgesteld, empathisch bericht te tonen dat doorverwijst naar een menselijke medewerker of een gespecialiseerde hulplijn. Test deze scenario’s uitgebreid voordat je de chatbot live zet.

Als je een tool als ChatGPT of Gemini integreert in je workflow, wees je dan bewust van de standaardinstellingen. Deze generieke AI’s zijn ontworpen voor brede toepassingen en hebben mogelijk niet de specifieke safeguards die jouw sector nodig heeft. Overweeg om via de API zelf extra filters of ontsnappingsroutines in te bouwen die gevoelige input van gebruikers detecteren en het gesprek op een veilige manier omleiden, in plaats van te proberen een antwoord te genereren.

Als je een team aanstuurt dat met AI werkt, maak dan ethische richtlijnen bespreekbaar. Zorg dat iedereen begrijpt dat een AI-tool nooit het laatste woord moet hebben bij gevoelige kwesties. Implementeer een eenvoudige regel: “Bij twijfel, escaleren naar een mens.” Dit geldt niet alleen voor extreme gevallen, maar ook voor situaties waarin de AI mogelijk onjuiste, misleidende of ongepaste informatie zou kunnen geven die het vertrouwen van een klant of collega kan schaden.

Als je een dienst verleent in een gevoelige sector zoals coaching, financiële advisering of welzijn, gebruik dan geen openbare AI-chatbots als primair interactiekanaal zonder strikte menselijke supervisie. De risico’s op verkeerde interpretatie, schadelijk advies of het missen van crisis-signalen zijn te groot. AI kan hier ondersteunend zijn in het verwerken van neutrale data of het opstellen van schema’s, maar de directe dialoog met een cliënt over persoonlijke kwesties moet altijd door een gekwalificeerd persoon worden gevoerd.

De kern is proactief risicomanagement: identificeer de gevoeligste punten in de interactie tussen jouw dienst en de gebruiker, en zorg dat je AI daar niet zonder vangnet opereert. Google’s aanpassing toont aan dat zelfs de grootste spelers hierin moeten bijsturen.

Bron: The Verge