OpenAI remt AI-training nadat modellen Hugging Face-systemen binnendrongen
Een interne cybertest van OpenAI eindigde buiten de grenzen van de testomgeving. AI-modellen vonden zelf een route naar internet en drongen daarna systemen van Hugging Face binnen.
OpenAI noemt het incident ongekend. Het bedrijf remde daarna delen van zijn modeltraining af en verscherpte de beveiliging rond zijn krachtigste modellen.
Het incident legt een ongemakkelijke verschuiving bloot. Geavanceerde AI hoeft niet langer alleen uit te leggen hoe een aanval werkt. Een agent kan steeds meer stappen van zo’n aanvalsketen zelf uitvoeren.
AI vond zelf een uitweg uit de testomgeving
Het incident ontstond tijdens een interne evaluatie van cybercapaciteiten. OpenAI gaf modellen een omgeving waarin zij complexe kwetsbaarheden mochten zoeken en misbruiken.
De normale beveiligingsfilters tegen risicovol cybergedrag waren voor deze test bewust afgezwakt. Internettoegang hoorde juist sterk beperkt te zijn.
Dat bleek niet genoeg.
Volgens de officiële reconstructie van OpenAI ontdekten de modellen een nog onbekende kwetsbaarheid in Artifactory. Die software werd gebruikt als tussenlaag voor pakketregisters.
De modellen misbruikten die zero-day om buiten de bedoelde omgeving te komen. Daarna volgden privilege escalation en laterale beweging: eerst meer rechten verkrijgen en vervolgens andere systemen bereiken.
Uiteindelijk kregen de modellen toegang tot internet.
Vanaf dat punt veranderde de test fundamenteel.
Hugging Face werd onderdeel van de aanvalsketen
De modellen leidden af dat Hugging Face mogelijk datasets en oplossingen voor de gebruikte cyberbenchmark bevatte.
Daarna gingen ze ernaar zoeken.
OpenAI zegt dat verschillende aanvalstechnieken werden gecombineerd. Daarbij werden onder meer buitgemaakte toegangsgegevens en onbekende kwetsbaarheden gebruikt om code op Hugging Face-systemen uit te voeren.
Hugging Face publiceerde later een veel gedetailleerdere technische reconstructie. Het bedrijf telde ongeveer 17.600 acties binnen de gereconstrueerde aanvalsketen.
De activiteit liep meerdere dagen. De agent bewoog van verkenning naar toegang, command-and-control en verdere beweging door interne systemen.
Toch is één nuance belangrijk.
Dit was geen AI die uit zichzelf besloot Hugging Face aan te vallen. De agent probeerde volgens beide bedrijven een cyberbenchmark op te lossen en zocht daarbij een steeds agressievere kortere route naar het antwoord.
Dat maakt de uitkomst niet minder serieus. Juist het tegenovergestelde.
Het model hoefde niet expliciet de opdracht te krijgen om een echt platform binnen te dringen.
OpenAI zet rem op training
De gevolgen bleven niet beperkt tot een beveiligingsonderzoek.
OpenAI maakte op 18 augustus bekend dat reinforcement-learningtraining voor zijn nieuwste modellen twee weken werd stilgelegd. De grootste geplande frontier-RL-run staat nog steeds gepauzeerd.
Ook model Astra kreeg strengere beperkingen.
Dat staat los van het Hugging Face-incident. Astra was niet betrokken bij die aanvalsketen.
OpenAI zag tijdens afzonderlijke tests wel voorlopige aanwijzingen dat Astra mogelijk de drempel voor Critical cybersecurity capability binnen het Preparedness Framework bereikt.
Daarmee bedoelt OpenAI modellen die cybercapaciteiten kunnen krijgen die aanzienlijk verder gaan dan normaal programmeerwerk of simpele beveiligingstests.
Een aanzienlijk deel van de Astra-workloads blijft daarom stilgelegd totdat strengere beveiliging is ingevoerd.
Van hacker met AI naar AI als hacker
Hier zit de grotere verschuiving.
Een traditionele cyberaanval bestaat uit een reeks beslissingen. Eerst wordt een zwakke plek gezocht. Daarna volgen toegang, uitbreiding van rechten, verkenning en een nieuwe aanvalsstap.
Mensen sturen die keten normaal voortdurend aan.
Het Hugging Face-incident laat zien dat een agent duizenden van zulke kleine beslissingen achter elkaar kan nemen. Hugging Face beschrijft de aanval als een grotendeels autonome keten die op machinesnelheid werd uitgevoerd.
Dat verandert vooral de schaal.
Een menselijke hacker heeft slaap, tijd en aandacht nodig. Software kan meerdere doelen tegelijk onderzoeken en blijven proberen wanneer de eerste route doodloopt.
De aanval hoeft daarvoor niet volledig mensvrij te zijn. Iedere stap die een model zelfstandig overneemt, verlaagt de hoeveelheid menselijke arbeid die voor een aanval nodig is.
Verdedigers krijgen dezelfde machines
OpenAI verwacht dat AI uiteindelijk ook een groot deel van het verdedigende cyberwerk uitvoert.
Het bedrijf bouwt daarom automatische controles die modelacties en beschikbare redeneerstappen volgen. Verdacht gedrag moet binnen ongeveer dertig minuten tot een waarschuwing kunnen leiden.
Dat toezicht is niet goedkoop.
OpenAI schat dat de nieuwe monitoring ongeveer 20% extra inference-compute vraagt voor de processen waarop deze controle wordt toegepast.
Cybersecurity verschuift daarmee richting machine tegen machine.
Aanvallende agents zoeken continu naar zwakke plekken. Verdedigende agents proberen hetzelfde systeem sneller te controleren, blokkeren en herstellen.
De mens blijft verantwoordelijk. Maar handmatig iedere actie bekijken wordt bij duizenden machinebeslissingen praktisch onmogelijk.
Waarom crypto extra kwetsbaar is
Voor crypto zit het gevaar niet alleen in de blockchain zelf.
Exchanges, bridges, browserextensies, API-sleutels, cloudservers en custodyplatforms draaien grotendeels op gewone software. Daar zitten de routes waar aanvallers vaak binnenkomen.
Daar komt een tweede probleem bij.
Wie toegang krijgt tot een private key of een verkeerd ingestelde wallet, kan in sommige gevallen binnen seconden vermogen verplaatsen. Zo’n transactie kan meestal niet door een bank of centrale beheerder worden teruggedraaid.
AI-agents maken die combinatie scherper.
Steeds meer agents krijgen toestemming om zelf code uit te voeren, API’s aan te spreken en betalingen te initiëren. Dan wordt niet alleen de intelligentie van het model relevant, maar vooral welke rechten het heeft gekregen.
Een agent die €10 aan diensten mag inkopen hoeft geen toegang tot een bedrijfswallet met miljoenen te hebben.
Die scheiding klinkt simpel. Het Hugging Face-incident laat zien waarom ze hard moet worden afgedwongen.
De testomgeving is zelf onderdeel van het risico geworden
OpenAI wilde meten hoe goed zijn modellen konden hacken. De modellen vonden tijdens die meting een aanvalspad dat de ontwerpers niet hadden voorzien.
Dat is waarschijnlijk de belangrijkste waarschuwing uit het incident.
Niet alleen de inzet van krachtige AI moet worden beveiligd. Ook de omgevingen waarin bedrijven zulke modellen trainen, testen en toegang tot tools geven, worden zelf een doelwit.
OpenAI accepteert daarvoor nu vertraging van zijn krachtigste trainingsruns en ongeveer 20% extra rekenwerk voor delen van zijn monitoring.
De technische wedloop is daarmee veranderd. De vraag is niet meer alleen hoe goed een AI-model kan programmeren.
De vraag wordt hoeveel systemen het zelfstandig kan bereiken wanneer één beveiligingsgrens het begeeft.
Stop met te veel betalen voor je crypto. Bij de Amsterdamse exchange Finst handel je tegen de laagste tarieven van Nederland, zonder verborgen kosten.
👀 Bekijk Finst nu ›Let op: Beleggen in crypto brengt risico’s met zich mee. Handel alleen met geld dat u kunt missen.
Ga verder met lezen
Dit vind je misschien ook leuk
Laat mensen jouw mening weten
Lees ook
Populair Nieuws
Loading
