De Praktizijn is als juridisch kenniscentrum zeer geïnteresseerd in de assistentie die AI kan bieden bij het zoeken naar juridische informatie. De medewerkers van de bibliotheek krijgen dagelijks vragen van advocaten die lid zijn voorgelegd en vroegen zich af of ChatGPT iets toevoegt aan hun eigen zoekacties. Daarom zijn de informatiespecialisten sinds ruim een half jaar aan het experimenteren met de gratis versie van ChatGPT 3.5 en de betaalde ChatGPT 4.
Zoekvragen
De vragen die ze van leden krijgen betreffen allerlei rechtsgebieden. Voor het onderzoek is een lijst van zoekvragen op tien verschillende gebieden opgesteld. Daarbij zitten vragen als ‘Valt de wens om een gezin te stichten onder de reikwijdte van artikel 8 EVRM?’ en ‘Heeft de verhuurder, wiens algemene voorwaarden een ‘oneerlijk’ rentebeding bevatten, wel aanspraak op de wettelijke rente?’
Sterren
De vragen zijn door zowel door Praktizijnsmedewerkers als door ChatGPT beantwoord. Om erachter te komen of er progressie zit in de beantwoording van zoekvragen worden de vragen maandelijks aan ChatGPT voorgelegd. Op de site staat de waardering van de antwoorden van beide versies van het taalmodel door de medewerkers. Dat gebeurt met sterren: één ster is ‘waardeloos’, en vijf sterren is ‘uitstekend’.
De antwoorden op bijvoorbeeld de vraag wat op 31 december 2014 de wettelijke strafmaxima waren voor art. 420bis (witwassen), 420ter en 420quater Wetboek van Strafrecht, werden in november gewaardeerd met twee sterren, de andere maanden met één ster. Commentaar van de Praktizijn: “Hier komt ChatGPT echt met telkens andere, foutieve antwoorden. Zo wisselt maandelijks gevangenisstraf en soms worden geen geldboetes genoemd en als ze worden genoemd zijn ze ook niet correct.”
Uit de lucht gegrepen
De Praktizijn is over het algemeen niet erg tevreden over de beantwoording; ze kan het gebruik ervan als serieuze zoekmachine niet aanbevelen. ChatGPT gaf slechts in een beperkt aantal gevallen een correct en volledig antwoord. Zo wordt bij uitspraken lang niet altijd een ECLI-nummer genoemd. Openbare bronnen worden door de chatbot slechts in beperkte mate geraadpleegd; www.rechtspraak.nl en www.overheid.nl worden bijvoorbeeld niet doorzocht. Bovendien “hallucineert” ChatGPT volgens de Praktizijn, en komt het programma soms met volstrekt uit de lucht gegrepen antwoorden, zoals verzonnen uitspraken of geciteerde literatuur.
Geen bronvermelding
Aan bronvermelding doet ChatGPT niet, ook niet in de betaalde versie. Die laatste versie raadpleegt wel veel meer bronnen en documenten dan de gratis versie, maar toch is het resultaat “bedroevend” aldus de Praktizijn. De conclusie uit het onderzoek – dat wordt voortgezet – is dat ChatGPT een aardig hulpmiddel kan zijn voor advocaten, alleen zullen zij wel ieder deel van een antwoord moeten controleren op correctheid.
