De meeste AI-systemen worden gebouwd door commerciële partijen met een winstoogmerk. En hoewel we het in de praktijk vaak hebben over de human in the loop en verantwoord AI-gebruik, zijn die uitgangspunten niet direct in het belang van die commerciële partijen. Zij bouwen hun AI-systemen vaak juist om zo betrouwbaar en overtuigend mogelijk over te komen.
In haar onderzoek aan de UvA naar de manier waarop mensen – doorsnee burgers, maar ook professionals zoals juristen – omgaan met AI-systemen, merkt Natali Helberger dat er regelmatig frictie ontstaat wanneer de waarden die in een specifieke sector gangbaar zijn, niet worden gedeeld door de makers van AI-software voor die sector. Dat leidt tot problematische situaties, niet alleen in de toekomst, maar ook nu al.
U heeft recentelijk onderzoek gedaan naar AI-gebruik in juridische geschilbeslechting, zowel onder juristen als onder reguliere gebruikers. Wat viel u zoal op in de resultaten van dat onderzoek?
“In een recent kwalitatief onderzoek naar gebruikersattitudes ten aanzien van AI in de rechtspraak vonden we relevante verschillen tussen professionele gebruikers en burgers. Beide groepen verwachtten dat AI de gehele justitiële waardeketen zou beïnvloeden. Wat me opviel was dat burgers en professionele gebruikers niet alleen risico’s, maar ook mogelijke voordelen zagen. Wel noemden juridische experts vaker de (technische) beperkingen van GenAI, zoals lage nauwkeurigheid, fouten en onrechtvaardige en/of bevooroordeelde beslissingen, als risico’s. Dat terwijl burgers zich meer zorgen maakten over relationele risico’s (zoals overmatig vertrouwen in AI en gebrek aan menselijk toezicht). Ook was het opvallend dat de acceptatie sterk verschilt per rechtsgebied: AI wordt als potentieel meer voordelig beschouwd in het contract-, handels-, eigendoms- en arbeidsrecht, terwijl de risico’s duidelijk zwaarder wegen dan de voordelen in het strafrecht en het publiekrecht, zoals bij migratie.
Een van de belangrijkste inzichten voor mij was dat zowel vanuit het perspectief van professionele gebruikers als van eindgebruikers het huidige narratief rond AI-voordelen wordt gedomineerd door kostenbesparingen en efficiëntie, terwijl onze deelnemers de laagste verwachtingen hadden over een positieve impact van AI op fairness en de kwaliteit van besluitvorming. Bevindingen als deze roepen belangrijke vervolgvragen op voor legal AI: als de introductie van AI in de beleving van eindgebruikers in de eerste plaats een kwestie is van efficiëntie en lagere kosten, wat doet de integratie van steeds meer AI dan met het vertrouwen in de rechtspraak en de juridische sector, en met de legitimiteit daarvan?”
Als het om juridische AI-inzet gaat, zeggen we vaak dat bijvoorbeeld advocaten daar zo transparant mogelijk over moeten zijn. De NOvA drukt advocaten bijvoorbeeld op het hart om AI-inzet ergens in de dienstverlening altijd vooraf met cliënten af te stemmen. Wat is uw visie daarop?
“Transparantie over het gebruik van AI is belangrijk. Burgers hebben recht op transparantie, bijvoorbeeld onder de AI Act of de GDRP. Er bestaat ook een reëel risico dat mensen zich gemanipuleerd voelen als zij niet worden geïnformeerd, met potentieel negatieve gevolgen voor vertrouwen in de juridische sector.
Dat gezegd hebbende, is het belangrijk duidelijk te maken dat transparantie geen doel is op zich, maar een middel om een doel te bereiken. Effectieve transparantie over het feit dát en de manier waarop AI wordt ingezet, moet burgers in staat stellen weloverwogen beslissingen te nemen of ze het gebruik van AI en beslissingen genomen met AI willen vertrouwen of deze aanvechten. Daarom is een cruciale vraag, die veel meer aandacht verdient, niet alleen wanneer burgers moeten worden geïnformeerd, maar vooral ook hóe dat gebeurt.
Een eenvoudig label zoals ‘AI-ondersteund’ of ‘AI-gegenereerd’ informeert burgers niet over de vraag of zij een AI-ondersteunde beslissing al dan niet kunnen vertrouwen. We moeten ons daarom afvragen: welke informatie hebben burgers nodig om het gebruik van AI te kunnen beoordelen, en om te bepalen of hun rechten op transparantie, een eerlijk proces en een rechtvaardige behandeling in het geding zijn? En hoe kunnen rechters of advocaten die AI gebruiken deze informatie effectief aan burgers overbrengen? In plaats van eenvoudige AI-labels zou op professionele gebruikers zoals advocaten en rechters ook de verantwoordelijkheid moeten rusten om burgers uit te leggen waarom zij het gebruik van AI wel of niet kunnen vertrouwen.”
Veel fabrikanten van AI-software beloven dat taken daarmee veel sneller, makkelijker en efficiënter gedaan kunnen worden. Als we inzoomen op legal AI, is snelheid of efficiency dan wat u betreft wel de prioriteit?
“Als AI helpt taken sneller, makkelijker en efficiënter te maken, is dat op zich niet erg. Het wordt problematisch als snelheid en efficiëntie de belangrijkste of zelfs de enige redenen worden om AI te gebruiken.
Ten eerste: snelheid, gemak en efficiëntie kunnen botsen met andere belangrijke waarden die het recht als maatschappelijke sector definiëren. Due process, procedurele zorgvuldigheid in het afwegen van belangen en juridische argumenten, recht op wederhoor, maar ook: het recht om gehoord te worden. Hoe dichter we bij de juridische kerntaken komen, hoe minder snelheid en efficiëntie de prioriteit zouden moeten hebben, en hoe meer de vraag centraal moet staan: hoe kan de inzet van AI bijdragen aan eerlijkere beslissingen, gelijke kansen op toegang tot de rechtspraak, het recht begrijpelijker maken voor mensen met verschillende achtergronden, opleidingen en juridische kennis, en het vertrouwen in de rechtspraak verhogen? En als het antwoord op deze vragen neutraal of zelfs negatief is: moeten we dan überhaupt AI inzetten?”
De human in the loop is een vaak gebezigde kreet als het om legal AI gaat: de menselijke controle en validatie van AI-output. Is die menselijke controle aan de achterkant wat u betreft inderdaad voldoende als voorzorgsmaatregel? En houdt de verantwoordelijkheid van de AI-fabrikant voor betrouwbare output daarmee verder ook op?
“In ons onderzoek in het kader van het AlgoSoc-programma zien we inderdaad dat er onder burgers, maar ook onder professionele gebruikers, groot vertrouwen heerst in menselijke controle als de meest relevante conditie voor betrouwbare en verantwoordelijke AI-systemen, tenminste in theorie. In de praktijk roept het principe van menselijke controle nog vele open vragen op: welke kennis, bevoegdheden en voorzieningen moet een mens hebben om een AI-systeem effectief te kunnen controleren? Wie moet de controle uitoefenen: een rechter? Een IT-expert? Een onafhankelijke instantie? En is controle aan de achterkant wel genoeg? Moet de “human in the loop” niet veel eerder worden ingeschakeld, bijvoorbeeld al bij de vraag welk AI-systeem om welke redenen wordt ingekocht?
Ook weten we dat het vermogen van mensen om effectief toezicht uit te oefenen door vele factoren beïnvloed kan worden, bijvoorbeeld door ‘automation bias’ (het vertrouwen dat de AI bij twijfel gelijk heeft) of ‘de-skilling’ (het verlies van kennis en het vermogen om kritisch op het AI-systeem te kunnen reflecteren). De verantwoordelijkheid van de AI-fabrikant houdt daarom zeker niet op bij het leveren van het systeem. Zonder doorgaande informatie-uitwisseling en actieve samenwerking met de fabrikant is het nauwelijks mogelijk om effectieve menselijke controle uit te oefenen, en menselijke controle alleen is geen voldoende garantie voor de betrouwbaarheid van de output.”
U heeft recentelijk ook onderzoek gedaan naar aanbieders van AI-ondersteunde juridische startups in onder meer de VS. Wat was de meest opvallende bevinding uit dat onderzoek?
“Vooral in de VS, maar ook in Europa, zien we meer en meer ‘justice as a service’-diensten opkomen. Online dienstverlening die juridische hulp belooft bij huur- of arbeidsconflicten, een echtscheiding, parkeerboetes en meer. Het is bijzonder interessant om te kijken welke partijen of welke expertises een rol spelen bij het oprichten van deze diensten. Wat opvallend is, is dat aan veel van deze diensten geen of nauwelijks juridische expertise te pas komt, maar dat het vooral technische experts zijn die de dienst ontwikkelen en aanbieden.”
Wat is het meest hardnekkige misverstand over legal AI dat u graag uit de wereld zou helpen?
“Een veelgehoord misverstand is dat het bij AI en innovatie met AI vooral om technologische uitdagingen gaat. AI is echter evenzeer een maatschappelijke en institutionele uitdaging als een technische. Wanneer het gaat over juridische AI, ligt de focus te vaak uitsluitend op de technische mogelijkheden en wat de technologie wel of niet kan, en veel minder op de manier waarop het functioneren van de technologie het resultaat is van de wisselwerking met mensen, en van de institutionele, juridische en organisatorische vernieuwingen die nodig zijn om juridische AI te laten leiden tot eerlijkere en betere beslissingen en juridische dienstverlening. Er bestaat geen verantwoorde AI zonder instellingen en professionals die in staat zijn AI op een verantwoorde manier in te zetten.”
Is er ook een ontwikkeling op het gebied van legal AI waar u zich zorgen over maakt?
“Ik vind het zorgelijk dat we steeds weer horen hoe advocaten en rechters AI inzetten zonder goed te begrijpen wat de technologie wel of niet kan. De mogelijke gevolgen voor het vertrouwen in de rechtspraak, maar ook in AI, zijn funest. AI-geletterdheid is niet alleen voor burgers, maar vooral ook voor juridische professionals van belang. In dit kader was ik ook onaangenaam verrast dat in de discussies rond de Europese AI Omnibus werd voorgesteld om de juridische verplichtingen rond AI-geletterdheid voor professionele gebruikers te verzwakken. Een significant deel van juridische AI-systemen valt niet onder de hoog-risicobepalingen van de AI Act. Voor dit soort AI-systemen is de verplichting voor aanbieders en professionele gebruikers om te zorgen voor voldoende AI-geletterdheid bij hun medewerkers de meest relevante juridische verplichting in de AI Act om ervoor te zorgen dat AI op een verantwoorde en geïnformeerde manier wordt ingezet.”
Als u het voor het zeggen had, welke regel of wet rondom AI-gebruik zou u dan vandaag nog invoeren?
“Een recht om ‘in the loop’ te zijn: een recht voor burgers én professionele gebruikersgroepen om vanaf begin actief gehoord te worden en betrokken te zijn bij de ontwikkeling van juridische AI. Vóór de ontwikkeling kan dit bijvoorbeeld de vorm aannemen van participatieve ontwerpvereisten voor ontwikkelaars van juridische AI, waarbij betrokken burgers en domeinexperts worden ingeschakeld. Ná de ontwikkeling zou dit het recht kunnen omvatten om feedback te geven, gehoord te worden en bezwaar te kunnen maken.
De rechtspraak is een kerninstitutie van iedere democratische samenleving. Juridische AI kan de rechtspraak ten goede komen, bijvoorbeeld door de drempel voor toegang tot het recht te verlagen, rechters en advocaten te ondersteunen bij juridisch onderzoek, en bij te dragen aan eerlijkere beslissingen. Maar juist omdat de rechtspraak zo centraal staat in iedere democratie, kan de ontwikkeling van juridische AI niet worden overgelaten aan technologieontwikkelaars alleen.”
Is de juridische sector straks beter of slechter af dankzij AI, denkt u?
“Dat hangt in grote mate af van de vraag of we AI ontwikkelen en inzetten met als voornaamste doel snelheid en efficiëntiewinst, of om het rechtssysteem eerlijker, transparanter en toegankelijker te maken.”
