Coinbase laat klein AI-model beter scoren op eigen fraudetest
Een AI-model met negen miljard parameters verslaat bij Coinbase een veel zwaarder systeem op een specifieke fraudetaak. De aangepaste Qwen3.5-9B scoort volgens het bedrijf 9,6 procentpunt beter op F1 dan een agent op basis van Opus 4.5.
Ook reageert het model sneller. De cijfers komen wel uit Coinbase’s eigen testomgeving en zeggen dus niet dat Qwen3.5-9B ineens het betere AI-model voor iedere taak is.
Coinbase traint het model op zijn eigen fraudegevallen
Brian Armstrong deelde de resultaten opnieuw via X.
Coinbase nam daarvoor niet simpelweg een kleiner standaardmodel van de plank. Het bedrijf paste Qwen3.5-9B verder aan met eigen gegevens over fraude bij Onramp.
Onramp wordt gebruikt om via partnerapps crypto te kopen. Juist daar moet Coinbase snel bepalen of een betaling normaal oogt of mogelijk frauduleus is.
Het model krijgt die specifieke beslissing voorgelegd.
Dat is een heel ander probleem dan een algemene chatbot die programmeert, teksten schrijft en vragen over tientallen onderwerpen moet beantwoorden.
F1-score stijgt met 9,6 procentpunt
In de technische publicatie vergelijkt Coinbase de aangepaste Qwen-versie met onder meer een Opus 4.5-agent.
Op de eigen benchmark scoorde Qwen3.5-9B 7,5 procentpunt hoger op precision en 12 procentpunt hoger op recall.
De F1-score lag 9,6 procentpunt hoger.
F1 probeert precision en recall in één getal samen te brengen. Precision kijkt hoeveel gemarkeerde fraudegevallen daadwerkelijk fraude zijn. Recall meet hoeveel van alle aanwezige fraude het systeem weet te vinden.
Een fraudemodel dat alles afwijst, kan veel fraude vinden maar tegelijk enorme aantallen goede transacties blokkeren.
Andersom kan een heel voorzichtig model klanten weinig lastigvallen, maar fraude doorlaten.
De kunst zit dus in die balans.
9,6 procentpunt is niet hetzelfde als 9,6% winst
Daar zit nog een cijfermatige val.
Coinbase vermeldt expliciet dat de verschillen in de grafiek procentpunten zijn.
Stel dat een F1-score van 70% naar 79,6% gaat. Dan is het verschil 9,6 procentpunt, maar de relatieve stijging ligt hoger dan 9,6%.
Die twee formuleringen zijn niet uitwisselbaar.
Voor de benchmark is daarom vooral relevant dat Coinbase dezelfde maat gebruikt om de systemen rechtstreeks te vergelijken.
Klein model reageert ruim twee keer zo snel
Ook bij snelheid won de aangepaste Qwen-versie.
Coinbase rapporteert een mediane reactietijd van 0,683 seconde per volledige modelaanvraag. Bij Opus 4.5 was dat 1,515 seconde.
Dat komt neer op ongeveer 55% minder wachttijd voor de modelaanvraag.
Voor fraudedetectie telt dat.
Een risicomodel kan nog zo slim zijn, maar wanneer iedere betaling meerdere seconden extra blijft hangen, voelen echte klanten dat aan de kassa.
Toch betekent die 55% niet dat de hele aankoop 55% sneller verloopt.
Andere controles, betaalsystemen en verwerking richting een wallet kosten ook tijd.
Coinbase meet hier specifiek de AI-stap.
De echte voorsprong zit mogelijk in de bedrijfsdata
Dat is misschien het interessantste deel van Armstrongs boodschap.
Het onaangepaste Qwen-model presteerde volgens Coinbase duidelijk slechter. De winst kwam pas nadat het model was getraind voor precies het probleem dat Coinbase wilde oplossen.
Daarmee verschuift de vraag van “wie heeft het grootste model?” naar “wie heeft de beste gegevens voor deze taak?”
Een algemeen AI-model moet duizenden soorten opdrachten aankunnen.
Coinbase hoeft voor deze toepassing maar één ding extreem goed te doen: verdachte transacties herkennen uit patronen die het bedrijf zelf al heeft gezien.
Eigen fraudegegevens kunnen daar waardevoller zijn dan simpelweg meer parameters.
Een goede benchmark blijft maar één momentopname
Fraude heeft bovendien een vervelende eigenschap.
Fraudeurs passen zich aan.
Een patroon dat vandaag makkelijk herkenbaar is, kan verdwijnen zodra aanvallers weten welke transacties worden tegengehouden. Nieuwe betaalmethoden kunnen weer andere signalen opleveren.
Een goede score uit oktober is daarom geen eeuwige voorsprong.
Coinbase zal nieuwe transacties moeten blijven toetsen en het model opnieuw moeten aanpassen wanneer het gedrag verandert.
Dat maakt gespecialiseerde modellen goedkoop om te draaien, maar niet gratis om goed te houden.
Fraudefilter beschermt niet tegen iedere cryptofout
Ook voor gebruikers heeft het systeem duidelijke grenzen.
De AI-agent beoordeelt transactierisico binnen Coinbase Onramp. Het is geen algemene beveiligingslaag voor alles wat iemand daarna met crypto doet.
Wie zelf crypto naar een verkeerd adres stuurt, een malafide blockchain-app toestemming geeft of private keys weggeeft, valt buiten zo’n betaalcontrole.
Het model probeert één deur beter te bewaken.
Niet het hele huis.
Klein kan dus beter zijn, maar alleen met een sterretje
Armstrong verwacht dat meer bedrijven deze route kiezen.
Dat klinkt logisch. Een kleiner model kan goedkoper en sneller zijn wanneer het maar een beperkt aantal beslissingen hoeft te nemen.
Maar Coinbase’s test bewijst geen algemene overwinning van kleine modellen op grote AI-systemen.
Het laat iets specifiekers zien.
Geef een kleiner model eigen bedrijfsdata, train het op één meetbare beslissing en test het op precies die taak. Dan kan specialisatie zwaarder wegen dan pure modelgrootte.
Voor bedrijven kan dat uiteindelijk belangrijker blijken dan de volgende race om nóg meer parameters.
Stop met te veel betalen voor je crypto. Bij de Amsterdamse exchange Finst handel je tegen de laagste tarieven van Nederland, zonder verborgen kosten.
👀 Bekijk Finst nu ›Let op: Beleggen in crypto brengt risico’s met zich mee. Handel alleen met geld dat u kunt missen.
Ga verder met lezen
Dit vind je misschien ook leuk
Laat mensen jouw mening weten
Lees ook
Populair Nieuws
Loading
