Twee jaar geleden begonnen we bij HVG Law met het evalueren van juridische AI-tools. Er bestond toen nog geen referentiekader of playbook, dus bouwden we alles zelf op (dat proces beschreef ik in een eerdere bijdrage). Het werkte, maar het kostte ontzettend veel tijd en het was verre van perfect. Vooral leerzaam was het om te ontdekken hoeveel je eigenlijk niet weet als je voor het eerst serieus een AI-tool probeert te beoordelen.
Iedereen vindt het wiel opnieuw uit
In gesprekken met vakgenoten van andere kantoren en bedrijven merkte ik dat vrijwel elk juridisch team met dezelfde vragen worstelde. Hoe beoordeel je de output van een AI? Welke vragen stel je aan een leverancier over dataverwerking? Hoe toets je de security? Iedereen vond het wiel opnieuw uit.
Dat beeld werd nog eens extra bevestigd toen ik in contact kwam met Legal Benchmarks, een internationale organisatie die onafhankelijke benchmarks, evaluatiekaders en open-access resources ontwikkelt voor juridische teams die AI willen evalueren en inkopen. Vanuit hun ervaring met honderden juridische teams wereldwijd kwam naar voren wat ik in de praktijk al vermoedde: de grootste uitdaging is niet eens het beoordelen van de tools zelf, maar de interne afstemming die daaraan voorafgaat. Je hebt juristen die willen weten of de tool goede output levert, IT die naar architectuur en datastromen kijkt, en procurement die grip wil op de contractering. Die perspectieven bij elkaar brengen is op zichzelf al een project, en de meeste teams hebben daar simpelweg geen capaciteit voor. Het wordt vaak naast de dagelijkse werkzaamheden gedaan.
Mark Zijlstra schreef begin dit jaar op Mr. Online dat de open source-gedachte de juridische sector enorm kan helpen. Dat het delen van kennis, ervaringen en bovenal fouten essentieel is voor de ontwikkeling van legal tech. Die gedachte onderschrijf ik volledig, en dit project is daar wat mij betreft een mooi voorbeeld van.
Van LinkedIn-post naar wereldwijde samenwerking
In oktober 2025 deelde Anna Guo, oprichter van Legal Benchmarks, een oproep om samen een gedeeld evaluatiekader te bouwen. Ik herkende het direct: het leek sterk op wat wij bij HVG Law hadden ontwikkeld. We raakten in gesprek en besloten de krachten te bundelen.
Binnen drie weken meldden zich honderden (juridische) professionals van over de hele wereld: general counsels, legal ops-specialisten, IT-beveiligingsexperts, privacyjuristen. Allemaal met dezelfde frustraties, en allemaal bereid om hun inzichten en ervaring te delen. In een sector die niet bepaald bekendstaat om het weggeven van kennis, was dat bijzonder om te zien.
Samen met de community ontwikkelden we de eerste versie van een evaluatiekader om juristen te helpen de juiste (juridische) AI te kiezen en in te kopen. Zij scherpten criteria aan, identificeerden blinde vlekken en toetsten het geheel aan hun eigen evaluatie-ervaringen. Die diversiteit aan perspectieven (juridisch, technisch, operationeel, vanuit verschillende jurisdicties) maakte het resultaat beter dan wat één team alleen had kunnen bedenken.
Een evaluatiekader in drie fasen
Het resultaat is het Legal AI Evaluation Framework: een open standaard met honderd evaluatiecriteria verdeeld over acht dimensies, van strategische fit en outputkwaliteit tot security, privacy en leveranciersrisico’s.
De aanpak is bewust gefaseerd, vergelijkbaar met het sollicitatieproces van een nieuwe collega. Je begint met het cv: voldoet de tool op papier aan je minimumeisen, of valt hij al in de voorselectie af? Pas als het profiel er veelbelovend uitziet, nodig je de kandidaat uit voor een eerste gesprek: een gestructureerde demo waarin je toetst of de tool daadwerkelijk doet wat de leverancier belooft. En net zoals je een sterke kandidaat niet aanneemt op basis van alleen een goed gesprek, laat je de tool in de pilotfase meelopen in de praktijk: met je eigen workflows, je eigen documenten en je eigen team. Pas dan zie je of het echt werkt. Bij elke fase hoort een scorecard die je direct kunt gebruiken en aanpassen aan je eigen situatie.
Die pilotfase, het assessment als het ware, verdient bijzondere aandacht. De ervaring vanuit Legal Benchmarks laat zien dat de problemen die teams na de uitrol het meest bezighouden, precies de dingen zijn die je in een gepolijste demo niet ziet: moeizame integratie met bestaande workflows, inconsistente outputkwaliteit en de voortdurende inspanning om AI-output te valideren. Een sterk cv en een vlot gesprek zijn nu eenmaal geen garantie dat iemand ook daadwerkelijk presteert op de werkvloer. Het overgrote deel van de teams dat al een AI-tool heeft uitgerold, overweegt dan ook om te wisselen van leverancier. Dat alleen al maakt duidelijk hoeveel aankoopbeslissingen achteraf anders hadden uitgepakt, en hoe waardevol een gestructureerd evaluatieproces vooraf kan zijn.
Wat daarbij verder opvalt, is dat kosten voor de meeste teams helemaal niet de doorslag geven. Veel zwaarder wegen vaak de security en outputkwaliteit. Juridische teams willen het vooral goed doen, niet per se goedkoop. Dat nuanceert het beeld dat AI-inkoop in de juridische sector vooral een budgetdiscussie zou zijn.
Open source, open standaard
Het framework is open-source, gratis beschikbaar en zonder betrokkenheid van leveranciers ontwikkeld. Gepubliceerd onder een Creative Commons-licentie, zonder paywall of verplichte registratie. Wie de inkoop van AI-tools wil verbeteren, moet daar wat mij betreft geen drempel voor ervaren.
Dit is overigens pas de eerste versie, het framework zal ongetwijfeld evolueren naarmate de markt en de tools veranderen. Ik denk dat veel (juridische) professionals profijt zullen hebben van dit framework. Maar misschien is het stiekem nog wel belangrijker dat tastbaar is geworden dat we als sector verder komen door samen te werken.
