Een hoge Amerikaanse defensiefunctionaris heeft onthuld hoe het leger generatieve AI-chatbots zou kunnen inzetten voor een van de meest gevoelige taken: het opstellen en prioriteren van lijsten met militaire doelen. Volgens de functionaris, die anoniem sprak met MIT Technology Review, zou een lijst van mogelijke doelen in een AI-systeem gevoerd kunnen worden. Vervolgens zouden mensen het systeem vragen om de informatie te analyseren en de doelen te rangschikken, rekening houdend met factoren als de locatie van vliegtuigen. De uiteindelijke verantwoordelijkheid voor het controleren en evalueren van de aanbevelingen blijft bij mensen liggen. Dit voorbeeld illustreert hoe de krijgsmacht AI ziet als een tool om processen te versnellen, maar tegelijkertijd de menselijke controle wil behouden.

De twee gezichten van militaire AI

De onthulling geeft inzicht in hoe het Pentagon twee verschillende AI-technologieën inzet, elk met eigen beperkingen. Aan de ene kant is er Project Maven, een initiatief dat sinds 2017 operationeel is. Dit systeem gebruikt oudere vormen van AI, zoals computervisie, om enorme hoeveelheden data en beelden te analyseren. Het kan bijvoorbeeld duizenden uren aan dronebeelden doorzoeken om potentiële doelen algoritmisch te identificeren. Militairen gebruiken een dashboard om deze suggesties te beoordelen, wat het goedkeuringsproces versnelt. De nieuwe generatie AI, de chatbots, wordt nu als een extra laag bovenop dit systeem overwogen. Deze zouden een meer conversatie-achtige interface bieden om de geïdentificeerde doelen verder te analyseren en te prioriteren.

De ethische en praktische valkuilen

Deze mogelijke toepassing komt op een gevoelig moment, aangezien het Pentagon onder vuur ligt vanwege een aanval op een Iraanse school, die nog wordt onderzocht. Het scenario benadrukt de fundamentele spanning tussen snelheid en nauwkeurigheid, en tussen automatisering en verantwoordelijkheid. Zelfs met een mens “in the loop” ontstaat er een risico op automation bias: de neiging om de aanbevelingen van een geavanceerd systeem te veel gewicht te geven. Voor een ondernemer is dit een cruciaal inzicht. Het toont aan dat de grootste risico’s van AI niet per se zitten in de techniek zelf, maar in hoe je die techniek inbedt in je processen en besluitvorming. Wie de menselijke controle degradeert tot een rubberen stempelslag, neemt een groot risico.

Hoe kun je dit vandaag toepassen?

De militaire casus is extreem, maar de lessen zijn direct toepasbaar op elke onderneming die AI gebruikt voor belangrijke beslissingen. Het gaat niet om het vermijden van AI, maar om het ontwerpen van verstandige controlemechanismen.

Als je AI gebruikt voor het screenen van sollicitanten of het beoordelen van kredietaanvragen, dan zou je kunnen nadenken over een vergelijkbaar “mens-in-de-loop”-model. Laat het AI-systeem een voorselectie of een risicoscore genereren, maar maak de uiteindelijke beslissing expliciet onderwerp van menselijke beoordeling. Stel een protocol op waarin staat welke factoren de menselijke beoordelaar altijd moet overwegen, ongeacht de AI-aanbeveling.

Als je een chatbot inzet voor klantenservice die financiële of juridische adviezen kan raken, dan is een mogelijke stap om duidelijke grenzen te stellen aan wat de bot mag zeggen. Laat het systeem complexe vragen automatisch escaleren naar een menselijke medewerker. De chatbot versnelt het proces door eenvoudige vragen af te handelen, maar de mens blijft verantwoordelijk voor de gevoelige materie.

Als je als marketeer AI-tools gebruikt om content te genereren of campagnes te optimaliseren, overweeg dan om de output altijd te laten valideren door iemand met domeinkennis voordat deze live gaat. Zie de AI als een krachtige assistent die ideeën aandraagt, niet als een autonome beslisser. Dit voorkomt reputatieschade door onzorgvuldige of ongevoelige uitlatingen.

Als je leiding geeft aan een team dat steeds meer met AI werkt, dan zou je een gesprek kunnen starten over automation bias. Bespreek openlijk de valkuil dat een geautomatiseerde aanbeveling altijd correct lijkt. Stimuleer een cultuur waarin het ter discussie stellen van een AI-uitkomst wordt gezien als zorgvuldigheid, niet als gebrek aan vooruitgangsdenken.

Bron: Technologyreview