In een van mijn vorige blogs pleitte ik voor meer openheid en het delen van kennis (zie ook https://www.mr-online.nl/open-source-als-oplossing/). Dat ging over prompts, over tooling, en over het idee dat de sector sneller volwassen wordt als we laten zien waar we mee bezig zijn. Diezelfde redenering geldt voor het meten van kwaliteit, misschien wel een van de belangrijkste thema’s als het over AI gaat. Wat een leverancier over beveiliging beweert kan ik nog controleren, want certificeringen en subverwerkerslijsten zijn openbaar. Bij de claim dat een tool goed juridisch werk levert, is dit echter een stuk ingewikkelder. Deze maand verscheen DELTA (https://www.legalbenchmarks.ai/research/delta), een publieke en openbare benchmark voor Nederlands juridisch onderzoek van Legal Benchmarks. De gebruikte testset staat ook openbaar, dus het onderzoek is volledig openbaar (https://github.com/legalbenchmarks/delta)
Eerlijke cijfers
Het best scorende model, Fable 5.1, haalt een task pass rate van vijftien procent. Dat klinkt als een enorme tegenvaller, maar de wijze waarop de benchmark is ingericht legt de lat hoog. Een taak telt pas als geslaagd wanneer élk inhoudelijk en élk bronvereiste is gehaald. Bij de taken die zijn gebruikt, zijn er gemiddeld ruim zestien eisen per opdracht. Het zijn korte, controleerbare regels. Bijvoorbeeld of de conclusie juist is, klopt de wetsbepaling waar die conclusie op gebaseerd is, benoemt het de uitzondering die in deze casus van toepassing is? Eén gemist wetsartikel is al genoeg om de hele opdracht op nul te zetten, hoe bruikbaar de rest van de output ook is. Dat klinkt wellicht wat streng, maar dat is wel het detailniveau waarop een jurist moet kunnen vertrouwen.
Van de 23 geteste modellen haalt er geen enkel het niveau waarop je Nederlands juridisch onderzoek zelfstandig zou uitbesteden. De conclusie van de onderzoekers is dan ook klip en klaar: “No model demonstrates readiness to conduct Dutch legal research independently.”
Bruikbaarheid in de praktijk
De volledige taakset staat op GitHub. Vijftien opdrachten uit de Nederlandse praktijk in verschillende rechtsgebieden, 273 criteria, allemaal door juristen gevalideerd. Deze criteria zijn weer onder te verdelen naar inhoudelijke vereisten, bronvermeldingen en vormvereisten.
Dit betekent echter niet dat de criteria ook de waarheid zijn. Sterker nog, dit is exact waar de open source-gedachte weer goed naar voren komt. Legal Benchmarks roept expliciet op om bij te dragen. En niet alleen om bij te dragen, maar ook om de inhoud (de criteria) te betwisten op basis van wetgeving, jurisprudentie of andere inhoudelijke vereisten.
Foutmarge
De omschrijving van de fouten legt de vinger op de zere plek. Een voorbeeld dat in het rapport wordt aangehaald gaat over de wettelijk vertegenwoordiger van een kind en tegenstrijdige belangen; hier benoemen de modellen de juiste maatstaf. Er zijn echter maar twee van de 23 AI-systemen die de maatstaf ook echt toepassen op de feiten. Bij een erfpachtcasus noemen 20 van de 23 modellen de eis van zeer uitzonderlijke omstandigheden, waarna er twaalf alsnog een te ruime conclusie trekken.
Wanneer je deze voorbeelden vergelijkt met de enquête die is gehouden onder 115 Nederlandse juristen, dan verbaast dit niet. Daarin noemt 82,6 procent verzonnen recht of verzonnen bronnen de ernstigste fout. Het gaat hier vooral over verzonnen bronnen, terwijl de voorbeelden laten dat het antwoord weliswaar verwijst naar bestaande wetsartikelen en bestaande arresten, maar dat je pas als je de casus zelf beoordeelt weet of de conclusie juist is.
We zijn er nog niet
Elk model kreeg één poging per vraag, dus er is geen rekening gehouden met inconsistentie. Daarnaast is er vanwege het open karakter van dit onderzoek een kans dat de criteria in de periode sinds de scoring verder zijn aangescherpt. Daar komt bij dat deze benchmark de foundation models heeft gebruikt (de onderliggende modellen) en dus niet specifiek heeft gekeken naar tools die gericht zijn op de juridische markt.
Het is echter wel een grote stap in de goede richting. Met dit soort onderzoeken en het meetbaar maken van AI, kunnen we beter bepalen waar menselijk toezicht noodzakelijk is en hoe we dat kunnen inzetten. Ook het trainen van juristen kan aan de hand van deze benchmark aangescherpt worden. Het gaat verder dan alleen beoordelen of een ECLI wel bestaat, dossierkennis is belangrijker dan ooit. Mijn tip: zoek je eigen rechtsgebied op en lees de criteria. Doe er je voordeel mee en mocht je er eentje vinden die onjuist of onduidelijk is, dien dan een issue in.
