AI blundert in rechtbank, ondanks training en controles

Niet een junior zonder ervaring. Niet een klein kantoor dat wat aanklooit met ChatGPT. Maar Sullivan & Cromwell.

Het prestigieuze Wall Street-kantoor moest bij een Amerikaanse rechter excuses aanbieden nadat in een rechtbankstuk onjuiste citaties en AI-hallucinaties waren beland. En precies daarom is dit meer dan een gênant incident. Als zelfs dit niveau kantoor zulke fouten doorlaat, zit het probleem dieper dan alleen het model.

Sullivan & Cromwell liet de U.S. Bankruptcy Court in Manhattan op 18 april weten dat een motion van 9 april fouten bevatte, waaronder door AI gegenereerde hallucinaties. Het kantoor erkende ook dat het eigen AI-beleid in dit dossier niet was gevolgd. Nog pijnlijker: de extra controle die dit had moeten onderscheppen, faalde ook. Een gecorrigeerde versie is inmiddels ingediend.

Daar zit de echte angel. Dit kantoor zegt juist strikte AI-regels te hebben. Verplichte training. Waarschuwingen over hallucinaties. De eis dat juristen AI-uitvoer zelfstandig verifiëren voordat iets naar een rechter, toezichthouder of cliënt gaat.

En toch lag het alsnog op tafel bij de rechtbank.

De makkelijke conclusie is dat AI nog steeds fouten maakt. Dat weet inmiddels iedereen wel.

De interessantere conclusie is dat de workflow eromheen nog steeds niet op orde is. Wie controleert die output? Hoe hard? En gebeurt dat echt, of alleen op papier?

Want daar gaat het hier mis. Niet alleen het model schoot tekort. De menselijke laag eromheen ook. Dat is in juridisch werk geen detail, maar het hele spel. Een hallucinerende chatbot is vervelend. Een hallucinerend rechtbankstuk is een reputatiebom.

Wie denkt dat dit een los incident is, hoeft alleen naar de afgelopen weken te kijken.

Op 14 april fileerde een federale rechter in Indiana een advocaat die AI had gebruikt om vermeende gebreken in discovery-antwoorden van Walmart op te sporen. Volgens de rechter had hij zijn professionele oordeel deels uitbesteed aan een systeem en daarmee een gevaarlijke shortcut genomen. De boodschap was glashelder: AI mag helpen, maar vervangt geen juridisch denkwerk.

Daar bleef het niet bij. Op 18 februari legde het 5th U.S. Circuit Court of Appeals een advocaat een boete van 2.500 dollar op. In haar brief trof het hof 21 ernstige problemen aan: gefabriceerde citaten en misleidende beweringen. De frustratie bij de rechterlijke macht was toen al zichtbaar. AI-hallucinaties in juridische stukken namen volgens het hof bepaald niet af.

En daar wringt het. In AI-marketing draait het vaak om snelheid, productiviteit en slimmere workflows. Klinkt mooi. Tot het misgaat in een omgeving waar elk citaat moet kloppen en elke bron overeind moet blijven.

Juist moderne modellen zijn daar verraderlijk. Ze schrijven soepel. Zelfverzekerd ook. Fouten zien er daardoor vaak niet uit als fouten. En precies dat maakt een snelle check gevaarlijk zwak.

Hoe geloofwaardiger de tekst klinkt, hoe makkelijker onzin door de review glipt.

Voor Nederland en België is dit gewoon relevant. Ook hier experimenteren advocatenkantoren, bedrijfsjuristen en legal teams met AI voor onderzoek, memo’s, contractanalyse en eerste concepten.

De Amerikaanse zaken laten zien waar de echte grens ligt. Niet bij de vraag óf juristen AI gaan gebruiken. Die strijd is al verloren. De echte vraag is wat er moet gebeuren voordat die output extern de deur uit mag.

En het eerlijke antwoord is voorlopig ongemakkelijk: minder dan veel leveranciers en gebruikers doen voorkomen.

De les van Sullivan & Cromwell is niet dat juristen generatieve AI moeten mijden. Zo simpel is het niet.

De les is dat de governance eromheen nog lang niet volwassen genoeg is. Als zelfs een topkantoor met beleid, training en reviewregels AI-hallucinaties in een rechtbankstuk laat belanden, dan blijft legal voorlopig een van de gevaarlijkste speelvelden voor generatieve AI.

Dat is geen detail. Dat is precies het probleem.