Vitalik Buterin steunt rem op offensieve AI om identiteitspoorten te vermijden
Vitalik Buterin accepteert dat AI-makers bewust een deel van hun offensieve cybercapaciteit afremmen. Hij vindt dat minder schadelijk dan een toekomst waarin krachtige modellen alleen beschikbaar zijn na identiteitscontrole, achtergrondchecks of selectie op nationaliteit.
De Ethereum-medeoprichter reageert daarmee op Kimi K3.1 Pro. Ontwikkelaar Moonshot verwijderde cyberdata uit delen van de training en zag de score op een interne exploittest dalen van 90,5% naar 81%.
Buterin kiest beperking van gebruik boven beperking van gebruikers
In zijn bericht van 26 oktober maakt Buterin een duidelijke scheiding.
Hij kan ermee leven dat de zwaarste offensieve cybervaardigheden bewust minder sterk worden getraind.
Wat hij liever voorkomt, is dat toegang tot krachtige AI uiteindelijk wordt bepaald door wie iemand is.
Buterin waarschuwt voor een model waarin KYC, uitgebreide surveillance, diploma's of nationaliteit gaan bepalen welke AI iemand mag gebruiken.
Dat is een door hem geschetst risico, geen aangekondigd beleid van Moonshot of een andere aanbieder.
Moonshot verwijdert cyberdata op twee plekken
Moonshot beschrijft in de officiële documentatie van Kimi K3.1 Pro hoe het de cybercapaciteit heeft afgeremd.
Het bedrijf vond cybergerelateerde informatie in de algemene trainingsdata.
Ook zaten cyberopdrachten in de reinforcement-learningomgevingen waarmee het model na de basistraining verder werd verbeterd.
Voor de open-weightversie verwijderde Moonshot zulke data uit beide fasen.
Algemene programmeertaken bleven behouden.
Het doel was dus niet om het model slecht te laten programmeren, maar om specifiek minder training te geven op kwetsbaarheidsonderzoek en exploitontwikkeling.
Interne score daalt 9,5 procentpunt
Moonshot testte het resultaat met xdev-bench-hard.
Een versie zonder deze risicobeperkende ingrepen loste volgens het bedrijf 90,5% van de geselecteerde opdrachten op binnen maximaal drie pogingen.
De uiteindelijke Kimi K3.1 Pro kwam op 81,0%.
Dat is een daling van 9,5 procentpunt.
Het verschil ondersteunt Moonshots stelling dat de ingreep effect heeft op deze specifieke test.
Het bewijst niet dat offensieve mogelijkheden zijn verdwenen.
De test vraagt daadwerkelijk om exploits
De benchmark gaat verder dan het herkennen van een verdachte regel code.
Moonshot zegt dat veel opdrachten recent openbaar gemaakte kwetsbaarheden nabootsen in software zoals de Linux-kernel, Node.js, JavaScriptCore en Exim.
Het model krijgt kwetsbare broncode, een korte aanwijzing en de bijbehorende software.
Daarna moet het een exploit ontwikkelen, willekeurige code uitvoeren in een afgeschermde testomgeving en een geheime tekenreeks bemachtigen.
De score wordt als pass@3 gemeten.
Er gelden volgens Moonshot geen harde tijd- of tokenlimieten.
81% blijft geen kleine capaciteit
Dat is de andere kant van dezelfde tabel.
Een model dat 81% van deze interne exploitopdrachten oplost, is niet cybertechnisch machteloos.
Moonshot erkent dat zelf.
Naarmate algemene programmeervaardigheid, debugging en langdurig probleemoplossen verbeteren, kunnen die vaardigheden ook bij beveiligingstaken worden gebruikt.
Specifieke cyberdata verwijderen kan dus een rem zetten.
Het trekt geen harde muur tussen programmeren en aanvallen.
Bedrijfsbenchmark is geen onafhankelijke veiligheidsmeting
Ook de herkomst van de cijfers telt.
xdev-bench-hard is een interne Moonshot-benchmark.
De samenstelling en resultaten zijn niet onafhankelijk gereproduceerd in de informatie die nu openbaar is.
Daarom kan uit 81% niet rechtstreeks worden afgeleid hoe vaak Kimi in echte systemen een aanval zou kunnen uitvoeren.
De echte wereld bevat andere software, verdediging, toegangsrechten en onvolledige informatie.
De benchmark laat vooral zien hoe twee varianten binnen Moonshots eigen test verschillen.
Buterin ziet de rem vooral als tijdwinst
Zijn steun draait ook niet om het idee dat offensieve AI permanent kan worden tegengehouden.
Buterin schrijft dat ontwikkelaars tijd nodig hebben om oude software na te lopen, systemen steviger te maken en nieuwe code beter te controleren voordat krachtigere geautomatiseerde aanvallen breed beschikbaar worden.
De waarde van de beperking zit dan in vertraging.
Elke extra maand kan worden gebruikt om zwakke plekken te vinden voordat aanvallers daarvoor veel sterkere automatisering krijgen.
Dat is een andere veiligheidsstrategie dan stellen dat toekomstige AI nooit offensief zal worden.
Formele verificatie krijgt daarin een rol
Buterin noemt ook formele verificatie.
Daarmee worden wiskundige methoden gebruikt om te controleren of software aan vooraf vastgelegde eigenschappen voldoet.
Dat kan bijvoorbeeld relevant zijn voor smart contracts, waar fouten direct financiële gevolgen kunnen hebben.
Formele verificatie bewijst alleen wat binnen het gekozen model en de vastgelegde aannames wordt gecontroleerd.
Het maakt software niet automatisch vrij van iedere fout.
Maar wanneer aanvalstechniek sneller wordt, groeit de waarde van methoden die meer zekerheid geven dan alleen handmatige inspectie.
Crypto heeft een direct belang bij deze discussie
Voor cryptobedrijven is het debat allesbehalve theoretisch.
Handelsplatforms, walletsoftware en applicaties op een blockchain bevatten code die financiële waarde bestuurt.
Een fout kan daardoor onmiddellijk aantrekkelijk zijn voor een aanvaller.
AI kan verdedigers helpen om grote hoeveelheden code sneller te onderzoeken.
Dezelfde programmeervaardigheid kan ook worden ingezet om zwakke plekken sneller te vinden en uit te buiten.
Dat dubbele gebruik maakt een simpele grens tussen “goede” en “slechte” programmeerkennis moeilijk.
Open weights maken de keuze scherper
Moonshot wil de volledige modelgewichten uiterlijk 4 november beschikbaar maken.
Dat maakt de veiligheidskeuze belangrijker.
Bij een gesloten API kan een aanbieder later nog verzoeken blokkeren, gebruikspatronen volgen of toegang intrekken.
Zodra volledige gewichten breed beschikbaar zijn, kunnen gebruikers het model op eigen systemen draaien en aanpassen.
Een centrale aanbieder kan dan veel minder bepalen wat ermee gebeurt.
Moonshot probeert daarom een deel van de begrenzing vóór de publicatie in het trainingsproces zelf aan te brengen.
Maar open weights kunnen later verder worden getraind
Daarmee ontstaat meteen een sterk tegenargument tegen Buterins voorkeur.
Een ontwikkelaar kan een open model verder trainen.
Wie opnieuw gespecialiseerde cyberdata toevoegt, kan proberen een deel van de verwijderde capaciteit terug te bouwen.
Hoe makkelijk dat bij Kimi K3.1 Pro zal zijn, is nog niet vastgesteld.
Maar het betekent dat capaciteit beperken in een open model minder hard kan zijn dan toegang beperken tot een gesloten dienst.
De keuze is dus niet gratis.
Meer open toegang geeft gebruikers vrijheid, maar maakt centrale controle na publicatie zwakker.
Identiteitscontrole lost aanvalscapaciteit evenmin volledig op
Daar staat tegenover dat KYC ook geen technische garantie tegen misbruik biedt.
Een geverifieerde gebruiker kan kwaadwillend handelen.
Accounts kunnen worden gestolen of via tussenpersonen worden gebruikt.
En krachtige modellen die elders zonder dezelfde toegangsregels beschikbaar zijn, verdwijnen niet doordat één aanbieder strengere identificatie vraagt.
Buterins punt is daarom vooral maatschappelijk.
Als gevaarlijke mogelijkheden waar mogelijk aan de bron worden afgeremd, hoeft toegang tot de resterende mogelijkheden minder sterk te worden gekoppeld aan de identiteit van iedere gebruiker.
Moonshot kiest geen volledige cyberblokkade
Ook Moonshots eigen formulering is bewust smaller.
Het bedrijf zegt niet dat Kimi geen kwetsbaarheden meer mag vinden.
Dat zou immers ook defensieve beveiliging raken.
Moonshot zegt te willen voorkomen dat zijn open weights de absolute top van offensieve cybercapaciteit verder opschuiven.
Tegelijk wil het bedrijf die mogelijkheden op termijn geleidelijk laten meegroeien.
Daarmee kiest Moonshot feitelijk voor vertraging, niet voor een permanente ban.
De echte test begint na 4 november
Tot nu toe kennen we vooral Moonshots eigen trainingsingreep en interne benchmark.
De belangrijkere vraag volgt nadat externe onderzoekers volledige toegang tot de gewichten krijgen.
Blijft de gemeten rem bestaan op onafhankelijke tests?
Hoeveel offensieve capaciteit kan via extra training worden teruggebracht?
En hoeveel beveiligingswerk kan hetzelfde model uitvoeren zonder dat de aanvalskracht even snel meegroeit?
Buterins voorkeur is helder: beperk waar mogelijk de gevaarlijkste toepassing voordat je mensen gaat indelen op identiteit.
Kimi K3.1 Pro wordt een interessante proef van die gedachte.
Want 81% laat al zien hoe lastig de grens is: aanvalskracht kan worden afgeremd zonder te verdwijnen.
Stop met te veel betalen voor je crypto. Bij de Amsterdamse exchange Finst handel je tegen de laagste tarieven van Nederland, zonder verborgen kosten.
👀 Bekijk Finst nu ›Let op: Beleggen in crypto brengt risico’s met zich mee. Handel alleen met geld dat u kunt missen.
Ga verder met lezen
Dit vind je misschien ook leuk
Laat mensen jouw mening weten
Lees ook
Populair Nieuws
Loading
