Voor het onderzoek testte het team van ICTRecht de systemen ChatGPT, Claude, Microsoft Copilot en Google Gemini. Het vergeleek de verschillende systemen niet alleen met elkaar, maar zette de prestaties van de betaalde versies van die systemen ook af tegen die van de gratis edities.
“Eigenlijk kun je de gratis AI-systemen van nu niet met vertrouwen gebruiken voor juridisch werk”, laat Mark Zijlstra, Head of Legal Technology bij ICTRecht weten. “De betaalde modellen zijn nieuwer, beter getraind en ook beter afgestemd op hoe mensen de systemen gebruiken. Ga je als jurist dus AI gebruiken voor je werk, doe dan ook de investering die nodig is om kwaliteit in huis te halen.”
Verschillen
Uit het onderzoek komen grote verschillen in de prestaties tussen de geteste systemen naar voren. Zo blijkt Claude met afstand het best te presteren als het gaat om het analyseren en opstellen van tekst. Zijlstra: “Maar Gemini blijkt weer beter in het opsporen van details in documenten, wat voor specifieke juridische toepassingen natuurlijk heel relevant is.”
Wat ook opvalt, is dat Copilot van Microsoft het slechtst uit de bus komt, zowel in de betaalde als in de gratis variant. “Maar daar staat tegenover dat het wel helemaal verweven zit in je Office-pakket”, licht Zijlstra toe. “Het grote voordeel is dan de integratie. ChatGPT en Claude moet je er echt bij pakken, terwijl Copilot meer fungeert als een persoonlijke assistent.”
Complexiteit
Voor het onderzoek vuurden de juristen en IT-experts van ICTRecht honderden juridische vraagstukken op de verschillende AI-bots af. De output controleerden ze vervolgens op feitelijke juistheid en juridische toepasbaarheid. De vraagstukken varieerden sterk in complexiteit.
“Een relatief eenvoudige vraag was bijvoorbeeld: wanneer is er sprake van schijnzelfstandigheid?” legt Zijlstra uit. “Of: heb ik na vijf uur werken recht op pauze? Maar je ziet dat de systemen juist met die niet-complexe vragen meer moeite hebben.”
Volgens de onderzoekers komt dat doordat bij niet-complexe vragen veel informatie en context mist, waardoor de systemen moeite hebben om een zinnig antwoord te geven. “Geef je echter een complexe casus als input, met allerlei informatie en details, dan wordt de output ineens een stuk kwalitatiever”, gaat Zijlstra verder. “Bijvoorbeeld: medewerker x werkt bij bedrijf y in Nederland, maar gaat verhuizen naar Spanje – welk arbeidsrecht is van toepassing? Dan krijg je met de systemen van nu al heel goede, juridisch bruikbare antwoorden.”
Verantwoord
Hoe goed sommige systemen tegenwoordig ook zijn, AI-geletterdheid bij juridische kantoren en organisaties blijft cruciaal, is Zijlstra van mening. “Je moet er verantwoord mee omgaan. Dat houdt in dat je rekening moet houden met welke data je er wel en niet in stopt en hoe het zit met de privacygevoeligheid van je input. Alles wat je bijvoorbeeld als input aan ChatGPT geeft, ligt in principe op straat”, waarschuwt Zijlstra.
Uit het onderzoek blijkt niettemin dat de verschillende AI-systemen juristen ontegenzeggelijk al efficiënter en beter kunnen laten werken. “Behandel de AI als een co-intelligentie, als iets waarmee je samenwerkt, niet iets wat je werk overneemt. Je moet alles nog controleren, maar de tools die wij testten, zijn echt al heel ver en heel waardevol. Je hebt laagdrempelig de beschikking over een digitale, extreem slimme stagiair.”
