De waarde van onafhankelijke overheidstesten voor AI-veiligheid ligt niet in het ontdekken van revolutionaire nieuwe dreigingen, maar in het bieden van een realistisch, vergelijkbaar beeld dat bedrijven helpt marketinghype van concrete risico’s te onderscheiden. Dit stelt ondernemers in staat gefundeerde keuzes te maken over welke AI-tools ze inzetten voor gevoelige taken.

Wat er aan de hand is

Het Britse AI Security Institute (AISI) heeft een eerste onafhankelijke evaluatie gepubliceerd van het cyberaanvalsvermogen van Anthropic’s nieuwe Mythos Preview-model. Dit volgt op de aankondiging van Anthropic dat het model aanvankelijk alleen beschikbaar is voor een beperkte groep “kritieke industriepartners” omdat het “opvallend bekwaam is in computerbeveiligingstaken”. De AISI-testen, die sinds begin 2023 lopen, bestaan uit speciaal ontworpen ‘Capture the Flag’-uitdagingen. Waar GPT-3.5 Turbo in die tijd nog moeite had met basistaken, kan Mythos Preview nu meer dan 85 procent van diezelfde ‘Apprentice’-niveau taken voltooien. De bevindingen tonen aan dat Mythos niet significant anders presteert dan andere recente ‘frontier’-modellen op individuele cybersecuritytaken. Het onderscheidende vermogen lijkt te liggen in de effectiviteit waarmee het model deze taken kan aaneenschakelen tot de meerstaps-aanvalsseries die nodig zijn om systemen volledig binnen te dringen.

Wat dit betekent

Voor ondernemers betekent dit dat de grootste cyberdreiging van geavanceerde AI niet per se ligt in het uitvoeren van één geavanceerde hack, maar in het automatiseren en samenvoegen van een reeks bekende, eenvoudigere kwetsbaarheden tot een effectieve aanval. De gestage vooruitgang in de testresultaten – van 0% naar meer dan 85% voltooiing in enkele jaren – toont een concrete, meetbare toename van het risico. Dit is vooral relevant voor bedrijven die afhankelijk zijn van een keten van digitale processen (zoals een webshop met inventaris, betaling en logistiek) of die gevoelige klant- of bedrijfsdata beheren. De onafhankelijke testen van een overheidsinstituut bieden een tegenwicht tegen de vaak opgeklopte marketingtaal van AI-leveranciers, waardoor je een realistischer beeld krijgt van wat een model daadwerkelijk kan.

Hoe je dit kunt toepassen

De praktische toepassing hangt sterk af van jouw specifieke situatie en het type data of systemen dat je beheert. De kern is om de onafhankelijke testresultaten te gebruiken als een reality-check bij het evalueren van AI-tools voor je bedrijf.

Als je overweegt een AI-tool in te zetten voor automatisering of data-analyse… zou je kunnen nagaan of de leverancier transparant is over onafhankelijke veiligheidstesten, vergelijkbaar met de AISI-evaluaties. Vraag niet alleen naar wat de tool kan, maar ook naar de testresultaten op het gebied van misbruik of onbedoelde acties. Dit helpt je een afweging te maken tussen efficiëntie en risico.

Als je verantwoordelijk bent voor de digitale infrastructuur van een MKB… is een mogelijkheid om de testmethodiek van het AISI als inspiratie te gebruiken voor je eigen risico-inschatting. In plaats van te kijken naar één grote beveiligingslek, kun je analyseren hoe een reeks kleine, geautomatiseerde stappen (zoals het vinden van een zwak wachtwoord, scannen van een netwerk en uitvoeren van een script) je systemen zou kunnen compromitteren.

Als je een leverancier selecteert die AI-componenten gebruikt in zijn dienstverlening… overweeg dan om veiligheidstransparantie en onafhankelijke auditing op te nemen in je selectiecriteria. Je zou kunnen vragen naar hun beleid ten aanzien van nieuwe, krachtige modellen zoals Mythos en hoe zij de risico’s voor jou als klant inschatten en mitigeren.

Bron: Arstechnica