AI-auditor moet zelf bepalen welke tests hij uitvoert
Een externe AI-audit kan onafhankelijk ogen en toch grotendeels door het onderzochte bedrijf worden gestuurd. Wie bepaalt welke systemen, testvragen en gegevens de auditor mag zien, bepaalt namelijk mede wat die controle überhaupt kan vinden.
Samuel Vance-Law van het Decentralization Research Center pleit daarom voor een strengere norm. Externe auditors zouden zelf hun tests moeten kiezen. Bedrijven moeten vervolgens openbaar maken wie controleerde en wat daadwerkelijk is onderzocht.
Onafhankelijk bedrijf betekent nog geen onafhankelijke audit
De kern van zijn kritiek zit bij de onderzoeksgrens.
Een AI-bedrijf kan een externe partij inhuren en tegelijk bepalen welke versie van het model beschikbaar komt, welke informatie wordt gedeeld en welke scenario's mogen worden getest.
De controleur is dan organisatorisch onafhankelijk.
De test zelf hoeft dat niet te zijn.
Een gunstige uitkomst betekent in zo'n situatie vooral dat het systeem binnen de afgesproken testopzet goed presteerde. Dat is iets anders dan een algemene verklaring dat het model veilig is.
Zelf tests kiezen verschuift de macht
Vance-Laws voorstel verandert daarom wie de onderzoeksvragen bepaalt.
Een auditor zou zelf moeten kunnen beslissen welke risico's worden onderzocht en welke tests daarvoor nodig zijn.
Daarna moet zichtbaar zijn wat de audit wel en niet omvatte.
Zo kan een lezer onderscheid maken tussen bijvoorbeeld een controle op cyberrisico, misleiding, autonome acties of manipulatie.
Een rapport met het label “extern getest” zegt zonder die informatie weinig.
Volledige toegang brengt zelf risico mee
Daar staat een sterk bezwaar tegenover.
Een geavanceerd AI-model kan miljarden aan ontwikkelkosten, bedrijfsgeheimen en beveiligingsgevoelige kennis vertegenwoordigen. Een volledige kopie aan iedere externe auditor geven kan nieuwe risico's veroorzaken.
Ook testvragen kunnen gevoelig zijn.
Wanneer een modelmaker vooraf precies weet welke opdrachten in een audit verschijnen, kan een model of testsysteem bewust of onbewust op die vragen worden voorbereid.
Daarmee botsen twee belangen: de auditor moet voldoende vrijheid krijgen, terwijl model en testmateriaal beschermd blijven.
DeepMind probeert beide kanten geheim te houden
Google DeepMind presenteerde op 27 augustus een technische aanpak voor precies dat probleem.
Samen met onder meer het Singapore AI Safety Institute, OpenMined, AVERI en MLCommons test het bedrijf een dubbelblinde evaluatie.
Het model en de vertrouwelijke testvragen komen daarbij samen in een afgeschermde computeromgeving.
De evaluator krijgt de modelgewichten niet te zien.
Google krijgt op zijn beurt de geheime testvragen van de evaluator niet te zien.
Volgens DeepMind kan cryptografie controleren dat beide kanten hun vertrouwelijke materiaal behouden.
Dubbelblind voorkomt vooral één vorm van beïnvloeding
Dat ontwerp pakt een concreet probleem aan: benchmark contamination.
Wanneer een AI-model of zijn ontwikkelaar de testvragen vooraf kent, kan een goede score minder betekenis krijgen.
Met afgeschermde vragen wordt voorbereiding op exact dezelfde opdrachten moeilijker.
Maar ook deze aanpak bewijst niet dat iedere veiligheidsvraag daarmee is opgelost.
De gekozen auditor bepaalt nog steeds welke risico's worden getest. De gebruikte opdrachten kunnen onvolledig zijn. En een technisch veilige testomgeving zegt niets over onderwerpen die helemaal niet in de audit zijn opgenomen.
Dubbelblind maakt een audit dus sterker. Het maakt haar niet automatisch volledig.
METR laat zien hoe testvoorwaarden conclusies beperken
Dat verschil is goed zichtbaar in onderzoek van de onafhankelijke evaluatiegroep METR.
In zijn evaluatie van OpenAI's o3 en o4-mini uit april 2025 beschreef METR meerdere beperkingen van zijn eigen onderzoek.
De organisatie had ongeveer drie weken toegang vóór de modellen werden uitgebracht. Ook beschikte zij slechts over beperkte informatie over bepaalde eigenschappen van de systemen.
METR waarschuwde daarom zelf dat de evaluatie geen robuuste algemene risico-inschatting toeliet.
Dat is geen zwakte van transparantie.
Het is juist wat een bruikbare audit hoort te doen: duidelijk maken waar de bewijskracht stopt.
Bewust onderpresteren kon niet goed worden uitgesloten
Een van de opvallendste beperkingen ging nog verder.
METR schreef dat zijn testopzet niet robuust was tegen sandbagging: een model dat tijdens een evaluatie bewust slechter presteert dan het werkelijk kan.
De onderzoekers stelden niet vast dat o3 dat daadwerkelijk deed.
Hun punt was smaller: als het model doelbewust zou onderpresteren, kon de gebruikte opzet dat waarschijnlijk niet betrouwbaar ontdekken.
Dat verschil is fundamenteel.
“Wij hebben dit gedrag niet gevonden” is niet hetzelfde als “wij hebben overtuigend uitgesloten dat dit gedrag bestaat”.
Toegang bepaalt dus mede wat een audit kan bewijzen
Daarmee krijgt Vance-Laws kritiek meer gewicht.
Een auditor kan alleen conclusies trekken over de informatie, modelversie en gedragingen die hij daadwerkelijk kon onderzoeken.
Wordt toegang beperkt, dan moet de conclusie evenredig smaller worden.
Hetzelfde geldt voor tijd.
Drie weken testen kan nuttige problemen blootleggen. Het bewijst niet dat een langer onderzoek niets extra's zou vinden.
Een serieuze audit hoort daarom niet alleen scores te publiceren, maar ook haar blinde vlekken.
Zijn bredere onderzoek draait om geconcentreerde macht
Vance-Laws voorstel past bij breder onderzoek dat hij samen met Kyle Bligen uitvoerde.
Hun rapport Alternatives to Concentrated AI is gebaseerd op 36 interviews, drie casestudy's van bouwers en bijna dertig systemen, organisaties en standaarden.
Een van die casestudy's komt van de Ethereum Foundation.
De auteurs kijken naar manieren om macht over AI minder sterk bij een klein aantal bedrijven te concentreren.
Tegelijk erkennen zij dat chipproductie en training van de grootste modellen voorlopig sterk geconcentreerd blijven.
Juist daardoor wordt externe controle belangrijker.
Een auditregister zou de vergelijking makkelijker maken
De praktische uitwerking van Vance-Laws idee hoeft niet ingewikkeld te zijn.
Een audit kan bijvoorbeeld altijd openbaar vermelden wie de test uitvoerde, welke modelversie werd onderzocht, hoeveel tijd beschikbaar was en welke toegang de auditor kreeg.
Daarbij hoort welke testgebieden de auditor zelf koos.
Ook beperkingen horen zichtbaar te zijn.
Dan kunnen twee audits die allebei “extern” heten toch eerlijk worden onderscheiden.
De ene controleur kan bijvoorbeeld volledige gedragsvrijheid hebben gehad, terwijl een andere alleen vooraf overeengekomen benchmarks mocht uitvoeren.
Onafhankelijkheid moet dus ook technisch worden ontworpen
De interessante ontwikkeling zit uiteindelijk tussen Vance-Laws voorstel en DeepMinds experiment.
Het oude dilemma luidde vaak: óf de modelmaker geeft zijn geheime model weg, óf de auditor geeft zijn geheime tests prijs.
Cryptografisch afgeschermde evaluaties proberen die keuze te doorbreken.
Dat maakt een strengere norm mogelijk.
Een AI-bedrijf hoeft zijn model niet volledig openbaar te maken om een auditor meer vrijheid te geven. En een auditor hoeft zijn testvragen niet vooraf aan het bedrijf te overhandigen om het model te kunnen onderzoeken.
Daarmee verschuift de vraag.
Niet langer alleen: is deze AI extern getest?
Maar vooral: wie bepaalde wat de externe tester mocht proberen?
Stop met te veel betalen voor je crypto. Bij de Amsterdamse exchange Finst handel je tegen de laagste tarieven van Nederland, zonder verborgen kosten.
👀 Bekijk Finst nu ›Let op: Beleggen in crypto brengt risico’s met zich mee. Handel alleen met geld dat u kunt missen.
Ga verder met lezen
Dit vind je misschien ook leuk
Laat mensen jouw mening weten
Lees ook
Populair Nieuws
Loading
