Harvey en Claude doen het routinewerk, advocaat controleert AI-tools nog wel

Ze heten Harvey, Claude of Kelvin en ze helpen advocaten bij hun dagelijks werk. Met deze applicaties van artificial intelligence kunnen advocaten routinewerk uitvoeren, zoals spraak omzetten naar tekst en samenvattingen maken. Ook voor sommige ingewikkelde klussen schrikt AI niet terug. Onderhandelingen voeren? AI kan het, al moet de advocaat het eindresultaat wel controleren. “De ontwikkelingen gaan in een krankzinnig tempo.”

Delen:

beeld: Depositphotos

Nora Streep durft de voorspelling wel aan dat AI de advocatuur ingrijpend gaat veranderen.  “Zeker nu er AI-tools zoals Harvey zijn die specifiek zijn gericht op de juridische markt,” zegt de directeur van de Law Firm School (LFS). “Dergelijke applicaties zullen de snelheid en betrouwbaarheid van het juridisch werk vergroten.” Daarbij komen, zegt Streep, talrijke ethische vragen aan bod: welke vraag mag je stellen, welke data mag je inbrengen, hoe moet je daarmee omgaan, welke eisen kun je stellen aan ontwikkelaars en leveranciers?” In een post op LinkedIn en een opinieartikel in het Advocatenblad vroeg ze zich af wat het standpunt van de NOvA is over de toepassing van AI. Inmiddels is de NOvA in actie gekomen door de oprichting van de projectgroep digitalisering.

Nora Streep (LFS)

Daarover later meer. Eerst iets over de potentie van kunstmatige intelligentie. Zelf hielp Streep een bekende die een goededoelenstichting wilde oprichten. “Laten we eens kijken hoe ver we komen met GPT4,” stelde Streep voor. Door steeds vragen toe te voegen bereikten ze een verbluffend resultaat met de AI-applicatie. “Ik kon er niets aan toevoegen,” zegt Streep die in het verleden in het notariaat werkte. Zij is een kenner, dus ze weet dat de uitkomst klopt. Maar hoe kan een leek vertrouwen op het resultaat? “Dat kan je bij een advocaat ook niet altijd,” antwoordt Streep.
Ze zegt dat de ontwikkelingen in een krankzinnig tempo gaan. “Ik hoor als bezwaar dat een machine het kan nooit beter kan dan een mens. Nou, een machine kan het veelal veel beter.”

Kaalslag

Streep voorspelt daarom een kaalslag in de advocatuur. “Het gaat om wat de cliënt belangrijk vindt. Of de advocaat ook achter het resultaat staat, is minder belangrijk.” Met een verwijzing naar een voorbeeld van advocatenwatcher Richard Süsskind over Black & Decker. “De cliënt wil geen boormachine van Black & Decker, maar een gat in de muur. Als cliënten dat sneller, goedkoper en meer toepasbaar kunnen krijgen bij iemand anders dan Black & Decker, dan zijn ze weg. Datzelfde geldt voor de cliënten van de advocatuur. Advocaten zeggen wel dat ze waarborgen hebben, maar dat zeiden huisartsen ook over patiënten die naar huisarts.nl gaan. Mensen laten zich niet meer vertellen dat ze naar een advocaat moeten.”

Jeroen Zweers (Legal Brain)

Legal tech adviseur en ondernemer Jeroen Zweers is minder optimistisch over AI voor advocaten. “Er wordt gewichtig gedaan over wat advocaten kunnen met generatieve – niet op de juridische markt toegespitste – AI,” zegt hij. “Maar Nederlandse advocaten kunnen er niet zo heel veel mee. Zetten ze AI substantieel in in hun praktijk? Of gebruiken ze Chat GPT zoals de gemiddelde Nederlander? Ik denk het laatste.” En dat geldt volgens Zweers ook voor A&O Shearman dat gebruik maakt van de advocatenapplicatie Harvey. “Harvey is ontwikkeld in Amerika, en dat merk je aan de content. Hij is niet erg geschikt voor de Europese markt omdat hij is getraind op Amerikaanse data.” Dat laatste kan volgens Zweers veranderen: “We staan nog maar aan het begin van AI-ontwikkelingen in het juridisch domein.”

Met generatieve AI kunt je algemene dingen doen, legt Zweers uit: “Samenvattingen maken, teksten beoordelen, vertalen. Maar zodra er juridische context nodig is, is generatieve AI niet goed.” Dat kan volgens hem veranderen als juridische uitgevers als WoltersKluwer en SDU hun eigen content gebruiken om AI te genereren, en zo toegang geven tot hun data. “Wat op rechtspraak.nl wordt gepubliceerd is maar 4 procent, dus heel weinig,” verklaart Zweers. “AI is net zo goed als wat je erin stopt, en dat is in het juridisch domein heel lastig, omdat niet alle data beschikbaar zijn. Een mens kan een abonnement op WoltersKluwer nemen. AI kan dat niet.”

Kelvin Legal

Wekelijks melden zich bij Zweers AI-start ups met de mededeling dat ze briljante juridische AI hebben ontwikkeld. “Als ik ze dan vraag waar ze de data vandaan hebben, antwoorden ze: ‘van rechtspraak.nl’. Dat is dus betrekkelijk weinig. Het vertrouwen dat je bij advocaten moet kweken door goede data en antwoorden te verstrekken zul je zo nooit bereiken en je businessmodel is daarmee gedoemd te mislukken.” Hij is wel lovend over Kelvin Legal. “Dat is het eerste echte grote juridische taalmodel. Het richt zich op de Noord-Amerikaanse markt. Ik verwacht dat er voor elke jurisdictie in de nabije toekomst een taalmodel gaat komen.”

Dat AI niet aan bronvermelding doet, is killing voor advocaten, meent Zweers. Een nog groter gevaar is dat advocaten AI als iets alwetends zien, en (met een zogeheten prompt) vragen stellen zoals je dat aan Google zou doen. “Bij AI moet je verder doorvragen op antwoorden. Dan krijg je goede informatie.” En, al klinkt dat paradoxaal:  “Voordat je AI een vraag stelt, moet je het antwoord bij wijze van spreken al weten. Je moet het antwoord kunnen valideren.” Dat het daarmee gruwelijk fout kan gaan bewees een advocaat in de VS die een antwoord van AI een-op-een had meegenomen in zijn advies aan de cliënt. Maar AI was gaan hallucineren, en verzon jurisprudentie. Die advocaat is daarop aangesproken door de toezichthouder. “De les: gebruik AI niet een-op-een, maar ter inspiratie. En altijd verifiëren.”

Binnen de advocatuur is A&O Shearman samen met PWC een voorloper op het gebied van AI. Als eerste grote klant van Harvey hebben ze de applicatie wereldwijd uitgerold, rond dezelfde tijd dat ChatGPT op het wereldtoneel verscheen. Inmiddels wordt de tool gebruikt door 4000 advocaten van de advocatenfirma. “Toen ChatGPT in november 2022 voor het grote publiek werd geïntroduceerd, wisten we al dat dit groot zou kunnen worden,” vertelt Cees van Ginneken, senior associate bij A&O Shearman en lid van het team dat verantwoordelijk is voor het uitrollen van AI-tools binnen de Amsterdamse vestiging.

Proefballonnetjes

Van Ginneken zegt dat A&O Shearman, onder meer vanuit de start up incubator Fuse in het Londense kantoor, al decennia investeert in legal tech. “We hebben binnen ons kantoor een testomgeving gemaakt waar we proefballonnetjes konden oplaten,” legt Van Ginneken uit. “We benadrukken dat de antwoorden altijd moeten worden nagekeken. Het is ondersteuning en dus geen vervanging van je werk.”

Cees van Ginneken (A & O Shearman)

Zo was A&O Shearman in staat om met behulp van Harvey en Microsoft een eigen applicatie te maken onder de naam ContractMatrix, waarin bestaande contracten kunnen worden gereviewd en uitonderhandeld. Van Ginneken: “Je opent een contract in Microsoft Word en dan kun je stukjes tekst selecteren en in ContractMatrix ondervragen met AI van Harvey. Je kunt het contract ook meteen vergelijken met relevante voorbeelden uit eerdere contracten die jij of je team hebt afgesloten, en waarvan je weet dat dit de goede referentiestukken zijn. Natuurlijk blijft “the human in the loop” van belang hierbij. Je moet wel kennis hebben van de materie en het toepasselijk recht.”

Vorig jaar hebben ASML en Philips, gefaciliteerd door A&O Shearman, met AI zelfs een heel contract onderhandeld en ondertekend. “We hebben dat document bekeken met 25 mensen uit allerlei disciplines: juristen, legal operations, business, technische mensen,” blikt Van Ginniken terug. “De juristen haalden er de meeste fouten uit. We hebben het document aangepast totdat we iets kregen waar we happy mee waren en dat hebben we ondertekend.”

Eigen data en context

In reactie op de kritiek van Jeroen Zweers op Harvey zegt Van Ginneken: “Er zijn inderdaad relatief veel juridische data beschikbaar uit de VS. Maar ook veel Nederlandse, UK en Europese data zitten in Harvey. En onze juristen werken er graag mee.” Hij erkent dat AI niet achter de betaalmuur van uitgevers kan kijken. “Maar je kunt modellen zoals Harvey wel van gerichte eigen data en context voorzien. Bijvoorbeeld je eigen documenten waar het model rekening mee moet houden bij het beantwoorden van vragen. Met onze zelfontwikkelde ContractMatrix tool halen we goede resultaten in alle jurisdicties waar we werken, ook in andere Europese landen, het Midden-Oosten en Japan.”

De advocaten van A&O Shearman gebruiken Harvey verder onder meer voor snelle vertalingen, samenvattingen, presentaties en e-mails. “Op basis van een e-mail kun je een conceptreactie in bijvoorbeeld Nederlands of Engels schrijven. Je kunt de tool ook tegenargumenten laten formuleren voor je pleitnotitie. Fijn dat iemand 24/7 beschikbaar is om te luisteren en te sparren, toch?”

AI is nog niet goed bruikbaar voor juridisch onderzoek, meent Van Ginneken. “Harvey is fundamenteel iets anders dan Google of Legal Intelligence. Een zoekmachine zoekt in een bestaande dataset mogelijke resultaten en laat die zien. De uitkomst kan ook zijn dat er geen relevant resultaat is. Terwijl Generatieve AI kijkt naar alles wat in het model zit. AI kan laten zien wat er in de markt gedaan is. Ik kan bijvoorbeeld aan AI vragen of iets een acceptabel voorstel is.”

Zeer stellig

Een probleem van AI is ook dat het altijd zeer stellig is, vindt Van Ginneken. “Het is a very eloquent thirteen year old, en zo moet je het ook behandelen. Om te beoordelen of iets onzin is, moet je wel een bepaald niveau van kennis hebben. Ik ben gespecialiseerd in financieringen, ik kan ook met AI geen arbeidsrechtspecialist spelen.” Als Harvey soms onzinantwoorden geeft, moet je je vraag aanpassen, en wat meer context geven, meent Van Ginneken. “Soms is het nieuwe antwoord dan wel juist.”

Tools als Harvey zijn enorm kostbaar (volgens Zweers 1000 dollar per advocaat per jaar) en dus niet betaalbaar voor

Chantal Bakermans (Penrose)

middelgrote en kleine kantoren, zoals de advocatencoöperatie Penrose in Amsterdam. De advocaten van Penrose maken gebruik van een eigen AI-applicatie. “Die kunnen we inzetten voor verschillende taken,” verklaart IE/IT-advocaat  Chantal Bakermans. “Dat kan bijvoorbeeld een memo voor de analyse van rechtspraak zijn.” Daarnaast kan de AI-applicatie, met gebruik van Claude (de tegenhanger van GPT4), spraak omzetten in geschreven tekst en andersom, en daar vervolgens ook notulen en samenvattingen van maken.

Dergelijk routinewerk kan AI goed aan, zegt Bakermans. “Het wordt alleen moeilijker als het gaat om een gesprek van drie uur. Op een gegeven moment wordt AI lui, dan krijg je problemen met transcriptie en samenvatting. Dat is het grootste euvel waaraan iets gedaan moet worden.”

Secondenwerk

Omdat AI nog relatief nieuw is, tasten gebruikers af wat wel en niet kan. “Het is zoeken naar de momenten in je werkproces waarbij je AI kunt inzetten,” meent Bakermans’ collega en ondernemingsrechtadvocaat Lukas Witsenburg. “Ik vind de verbeterfunctie voor het uitwerken van aantekeningen naar een gespreksverslag erg handig. Je zou er zelf lang over doen om zo’n tekst mooi te maken, en met AI is het secondenwerk. Of neem een offerte: die kost veel tijd. Ik ben vooral advocaat op de inhoud, en heb soms moeite om een commerciële toon aan te slaan. Daar heeft de AI-toepassing geen last van. Als je de instructie geeft dat je een voorstel vriendelijk en commercieel moet verwoorden, doet AI dat beter dan ik.”

Voor de ruwe tekst van contracten draait AI zijn hand ook niet om.  “We kunnen ons basis template gebruiken en van daar uit via drag en drop (verslepen van tekst uit bestaande basiscontracten) kiezen welke definities en welke artikelen we willen gebruiken,” licht Bakermans toe.

Lukas Witsenburg (Penrose)

De advocaten van Penrose gebruiken de AI-uitkomst als een startpunt. “Je kunt het niet een-op-een doorsturen, je moet het controleren,” verklaart Bakermans. Witsenburg noemt de AI-suggesties “een vliegende start van het werkproces”.  “Ik moest laatst vragen beantwoorden over een Europese richtlijn van 360 pagina’s. Zonder AI kost het me uren om dat te doorgronden. AI helpt je meteen de relevante passages te vinden en te begrijpen. Daarop kun je dan verder bouwen.”

Daarbij is het wel van belang dat je het systeem volledige informatie geeft, zegt Bakermans. “Je moet de applicatie zoveel mogelijk voorbereiden: dat het om een juridische tekst gaat, welke toon er gebruikt wordt. Voor een blog gebruik je een andere toon dan voor een concreet juridisch advies.”

Witsenburg betwijfelt of AI een baanbrekend juridisch inzicht kan produceren. “Ik denk van niet. De rechter houdt bij de wetstoepassing contact met de maatschappij. Gaat een computer dat kunnen? En zo ja vertrouwen we die computer als die vindt dat het tijd is voor een baanbrekend arrest? We kunnen het niet eens checken want we weten niet welke bronnen AI gebruikt.” Penrose heeft de AI-applicatie handmatig laten ontwerpen. Claude is een language model van app-bouwer Anthropic. Het is een generieke tool, voor alle toepassingen op kantoor.

Versnelling

De klanten van Penrose merken nog niks van de inzet van AI. “We zitten nog in een testfase, stoppen niet hele dossiers in die tool,” legt Bakermans uit. Witsenburg denkt dat de cliënt op termijn lagere facturen krijgt. “De versnelling van ons werkproces moet leiden tot minder tijd van ons en dus tot een lagere factuur,” voorspelt hij.
Voor het werk op kantoor kan AI ingrijpende consequenties hebben: “Werkstudenten en paralegals zullen minder worden ingezet,” verwacht Bakermans. En Witsenburg voorspelt dat bij grotere kantoren de partners onder druk komen te staan. “Als kennis op een goede manier ontsloten wordt, stijgen de mensen die goed met computers kunnen omgaan in de hiërarchie.”

Zweers zegt dat advocaten door het gebruik van AI hun diensten meer als een product zullen verkopen. “De advocatuurdienst als commodity dus, anders prijs je jezelf uit de markt. Standaardwerk als NDA’s reviewen gaat dan niet meer naar advocatenkantoren.”
Dat zei Richard Süsskind in 2008 ook al, maar daarna kwamen er alleen nog meer advocaten bij. Klopt, zegt Zweers. “Maar nu is het anders. Ik ben vijftien jaar fulltime bezig met juridische innovatie, en daar werd soms lacherig over gedaan. Nu niet meer.”

Vertrouwelijkheid is een belangrijk aandachtspunt bij het gebruik van AI. “Met Harvey hebben wij na een maandenlange testfase zeer strikte afspraken gemaakt over het verwerken van data,” zegt Van Ginneken. “We kunnen voor de klanten die dat toestaan stukken met Harvey verwerken want we blijven met het gebruik van Harvey binnen onze eigen beveiligde omgeving. Harvey’s AI-modellen leren niet van de data van de klant en ook niet van die van ons. Daar stellen we de hoogste eisen aan.”

Machine learning

Jeroen Zweers’ bedrijf Legal Brain ontwikkelt een platform dat de data eerst volledig anonimiseert. “Machine learning maakt daar categorieën van en daarna wordt er AI van gemaakt. Dan is het van de klant, en die hoeft niet bang te zijn dat de kennis weglekt naar de cloud.” Hij zegt dat advocatenkantoren voorzichtig zijn met AI omdat ze bang zijn dat hun eigen kennis gebruikt wordt door de grote techspelers.
AI afkomstig van Open AI (Chat GPT) of Microsoft (Copilot) is taboe voor advocaten, meent Zweers. “Als je bij het Amerikaanse congres werkt, mag je AI van Microsoft niet gebruiken omdat het niet compliant is. Dat zegt genoeg, denk ik.”

In de toekomst zullen er allerlei vragen opdoemen over AI in de advocatuur. Nora Streep noemt er alvast een paar: “Het algoritme geeft antwoorden op basis van een bepaalde programmatuur. Wie heeft die programmatuur ontwikkeld? In hoeverre mag je klakkeloos gebruikmaken van zo’n tool, hoe voorkom je dat informatie herleidbaar is tot de cliënt? Moet je de uitkomst controleren?”
Een andere vraag is of een cliënt kan eisen dat de advocaat AI gebruikt. Of is er anders sprake van wanprestatie? Streep: “Tegenwoordig word je geacht een zoekmachine als Legal Intelligence te gebruiken, anders voldoe je niet aan wat je van een goed beroepsbeoefenaar mag verwachten. De volgende stap is dat je een AI-tool moet gebruiken omdat je anders niet aan je zorgplicht voldoet.”
Streep moedigde in een LinkedIn post de NOvA aan om het voortouw moet nemen in die discussies. De advocatenorde gaat een denktank instellen die de NOvA moet adviseren op het terrein van regelgeving, onderwijs, ethiek. Een goede zaak, meent Streep.

Delen:

Het belangrijkste nieuws wekelijks in uw inbox?

Abonneer u op de Mr. nieuwsbrief: elke dinsdag rond de lunch een update van het nieuws van de afgelopen week, de laatste loopbaanwijzigingen en de recentste vacatures. Meld u direct aan en ontvang elke dinsdag de Mr. nieuwsbrief.

Scroll naar boven