Van de juristen met maximaal drie jaar werkervaring gebruikt 73 procent dagelijks AI voor juridisch onderzoek. Onder juristen met acht jaar of meer ervaring is dat 45 procent. In de middengroep, met vier tot zeven jaar ervaring, ligt het dagelijkse gebruik met 72 procent vrijwel even hoog als bij de juniors.
De inzichten zijn het resultaat van de Dutch Legal AI Adoption Survey die onlangs is uitgevoerd door Legal Benchmarks. Aan de survey deden 115 professionals uit negentien juridische organisaties en elf praktijkgebieden mee. Het onderzoek maakt deel uit van DELTA, een bredere benchmark waarmee Legal Benchmarks de prestaties van verschillende AI-modellen in de Nederlandse juridische praktijk wil vergelijken.
Ervaring
Opvallend in de onderzoeksresultaten is het grote verschil dat zichtbaar wordt tussen ervaren en minder ervaren juristen zodra zij moeten beoordelen wanneer AI juridisch de fout in gaat. Een onjuiste toepassing van het recht of een onvoldoende onderbouwde conclusie wordt door 60 procent van de juristen met minimaal acht jaar ervaring als een ernstige fout beschouwd. Onder junior juristen is dat slechts 21,6 procent. Van de middengroep beoordeelt 52 procent zo’n fout als ernstig.
Volgens de onderzoekers suggereert het verschil dat ervaring invloed heeft op wat juristen van juridische AI verlangen. Het vinden van de juiste bronnen is niet voldoende: naarmate juristen meer ervaring hebben, hechten zij meer belang aan de vraag of het recht vervolgens correct wordt toegepast en de conclusie juridisch voldoende wordt onderbouwd.
Bruikbaar
Legal AI is inmiddels stevig ingeburgerd, blijkt verder uit de cijfers: 63,5 procent van alle deelnemers gebruikt het dagelijks voor juridisch onderzoek en 98,3 procent minstens wekelijks. Maar dat juristen AI veel gebruiken, betekent nog niet dat zij de antwoorden zonder meer kunnen overnemen.
Slechts 32,2 procent van de juristen zegt na één prompt doorgaans een antwoord te krijgen dat direct bruikbaar is. Voor 67,8 procent is het eerste antwoord in hooguit de helft van de gevallen bruikbaar.
Ook blijkt dat juristen niet iedere fout even zwaar wegen. Verzonnen of onjuiste wetgeving, feiten of bronverwijzingen geldt voor 82,6 procent als een ernstige tekortkoming. Verouderde, irrelevante of uit de verkeerde jurisdictie afkomstige bronnen worden door 72,2 procent als ernstig beschouwd. Een ondeugdelijke juridische redenering wordt gemiddeld door 41,7 procent als ernstige fout aangemerkt, waarbij dus grote verschillen naar werkervaring bestaan.
Uitbesteden
Juristen zijn desondanks behoorlijk bereid delen van hun werk aan AI over te laten. Als AI een taak betrouwbaar zou kunnen uitvoeren, zou 45,2 procent als eerste het zoeken naar jurisprudentie volledig uitbesteden. Document- en dossieronderzoek volgt met 21,7 procent, terwijl 18,3 procent als eerste het maken van conceptteksten uit handen zou geven.
Bij het trekken van juridische conclusies ligt dat anders. De onderzoekers zien daarin een duidelijke scheidslijn: juristen staan ervoor open AI te laten zoeken, ordenen en voorbereiden, maar willen uiteindelijk zelf beoordelen wat het recht betekent en hoe het op een concrete zaak moet worden toegepast. Juist daar lijkt juridische ervaring voorlopig moeilijker te automatiseren dan het verzamelen van informatie.
Benchmark
Het onderzoek van Legal Benchmarks werd uitgevoerd in samenwerking met legal AI-leverancier Zeno, met als doel om te meten hoe AI daadwerkelijk presteert in de Nederlandse juridische praktijk. Daarbij wordt niet alleen gekeken of een antwoord juridisch inhoudelijk klopt, maar ook naar brongebruik, structuur, prioritering, nuance en de vraag of het resultaat voor een jurist daadwerkelijk bruikbaar is.
Voor het onderzoek werden AI-antwoorden blind voorgelegd aan Nederlandse advocaten, die deze beoordelen. De benchmark moet uiteindelijk antwoord geven op een praktische vraag die met algemene, internationale AI-tests moeilijk te beantwoorden is: welk model werkt het beste voor Nederlands juridisch onderzoek en de Nederlandse rechtspraktijk?
