De markt voor AI-gezondheidstools groeit explosief, maar de effectiviteit en veiligheid van deze tools worden niet altijd onafhankelijk getoetst voordat ze breed worden uitgerold. Voor zorgondernemers betekent dit dat ze kritisch moeten zijn op de onderbouwing van de tools die ze overwegen in te zetten.

Wat er aan de hand is

Grote techbedrijven lanceren in hoog tempo AI-tools voor gezondheidsadvies. Microsoft lanceerde onlangs Copilot Health, waar gebruikers medische gegevens kunnen koppelen en vragen kunnen stellen. Amazon maakte zijn Health AI-tool, voorheen exclusief voor One Medical-leden, breed beschikbaar. Deze producten sluiten aan bij eerdere releases zoals ChatGPT Health van OpenAI en de gezondheidsfuncties van Claude van Anthropic. Volgens de ontwikkelaars is dit mogelijk geworden door de enorme vooruitgang in de mogelijkheden van generatieve AI om gezondheidsvragen te beantwoorden. Tegelijkertijd is er een duidelijke vraag vanuit gebruikers die moeite hebben met toegang tot het reguliere zorgsysteem. Onderzoek suggereert dat sommige huidige grote taalmodellen veilige en nuttige aanbevelingen kunnen doen.

Wat dit betekent

Voor zorgondernemers, van fysiotherapiepraktijken tot thuiszorgorganisaties, ontstaat een nieuw landschap van mogelijke digitale ondersteuning. Deze tools beloven efficiëntie en toegankelijkheid, maar de introductie ervan gaat gepaard met een belangrijke waarschuwing van onderzoekers. Zij stellen dat deze tools rigoureuzer moeten worden geëvalueerd door onafhankelijke experts, bij voorkeur vóór brede lancering. In een hoog-risicodomein als de gezondheidszorg kan het onverstandig zijn om bedrijven hun eigen producten te laten evalueren, vooral als die evaluaties niet beschikbaar zijn voor externe toetsing. Zelfs als bedrijven kwalitatief onderzoek doen, kunnen er blinde vlekken zijn die de bredere onderzoeksgemeenschap zou kunnen opvullen. De kernvraag wordt niet alleen of de tools werken, maar of het bewijs voor hun werking solide en transparant is.

Hoe je dit kunt toepassen

Als je overweegt een AI-gezondheidstool in te zetten in je praktijk of organisatie, is een kritische houding essentieel. Je zou kunnen beginnen met het stellen van scherpe vragen aan de leverancier over de onderbouwing van hun product.

Als je een eerstelijnszorgpraktijk runt, zoals een huisartsenpost of fysiotherapiepraktijk, en je zoekt naar manieren om administratie te verminderen of patiënten voor te lichten. Een mogelijkheid is om bij een aanbieder te informeren naar de specifieke datasets waarop hun AI is getraind. Vraag of het model is gevalideerd voor de Nederlandse context en of er onafhankelijke, peer-reviewed studies zijn die de effectiviteit en veiligheid aantonen voor jouw specifieke gebruiksscenario.

Als je een manager bent in een zorginstelling en je evalueert digitale innovaties om de kwaliteit van zorg te verbeteren. Overweeg om niet alleen te kijken naar de functionaliteiten, maar ook naar het transparantiebeleid van de leverancier. Vraag of zij hun evaluatierapporten of testresultaten openbaar maken of delen met potentiële klanten. Een tool waarvan de werking een ‘black box’ is, brengt mogelijk meer risico’s met zich mee dan voordelen.

Als je een ondernemer bent die een gezondheidsapp of -dienst ontwikkelt en je overweegt een bestaande AI-tool (zoals een API van een groot techbedrijf) in te bouwen. Je zou kunnen onderzoeken of de leverancier duidelijk maakt welke beperkingen hun model heeft en voor welke medische vragen het expliciet niet bedoeld is. Het integreren van een tool zonder deze grenzen te kennen en te communiceren naar eindgebruikers kan leiden tot verkeerde verwachtingen en aansprakelijkheidsrisico’s.

De praktische toepassing hangt sterk af van jouw specifieke situatie. De kern is dat de komst van deze tools kansen biedt, maar dat de verantwoordelijkheid voor een zorgvuldige selectie en implementatie bij de gebruiker ligt, zeker zolang onafhankelijke toetsing achterblijft.

Bron: Technologyreview