Dory Reiling

Move fast and break things?

In mijn blog vanaf de Court Technology Conference in september schreef ik – weer eens – iets over de zelfrijdende auto. En toen ik kort geleden verzeild was geraakt in een discussie over kunstmatige intelligentie en mensenrechten kwam het weer boven. We gebruiken die auto omdat we ons daar iets bij kunnen voorstellen. Bij andere vormen van kunstmatige intelligentie (artificial intelligence, AI) is dat veel moeilijker.

De discussie was georganiseerd door Amnesty International, dat internationaal onderzoek doet naar AI en mensenrechten. Het is een veelomvattend onderwerp, en dat maakte de discussie ingewikkeld.  Ik pik er een paar dingen uit.

Terug naar de auto. De casus was: stel, een zelfrijdende auto rijdt zelf. De passagier doet iets anders, bijvoorbeeld tv kijken. De auto rijdt harder dan toegestaan. De politie wil de auto aan de kant zetten. Hoe moet dat? Daar gaat volgens mij een vraag aan vooraf: hoe kan een zelfrijdende auto autonoom de maximum snelheid overschrijden? Is hij dan niet zo ontworpen dat hij zich aan de verkeersregels houdt? Dat vindt bijna iedereen vanzelfsprekend. Nou vertelde een auto-ontwerper me laatst dat de eerste vraag bij kopers van een zelfrijdende auto is, of ze de snelheidsbeperking kunnen opheffen. En dat kan. Want anders kan de auto-industrie de schoorsteen niet laten roken. Het motto van Silicon Valley: move fast and break things…

Wij juristen zijn er doorgaans als de kippen bij om iemand de schuld te geven als er iets misgaat. We zijn dol op kwesties van aansprakelijkheid, verantwoordelijkheid en risico. Dat was in de Amnesty-discussie ook zo. Iemand vond dat een typische juristendiscussie. Nou lijkt mij dat de vraag, wie verantwoordelijk is, eventueel aansprakelijk, en wie het risico draagt van schade door kunstmatige intelligentie, er eentje van algemeen belang is. Interessant is, dat er AI mensen zijn die zeggen dat je de maker van de code helemaal niet verantwoordelijk kunt maken voor die eventuele schade. Zelflerende systemen gaan onvoorziene dingen doen, ze kunnen zelf beslissen om iets anders te gaan doen dan datgene waar ze voor ontworpen zijn. Daar kun je die maker niet voor verantwoordelijk houden. Blijft de vraag: als dat niet kan, waar leggen we dan het risico neer? Het goede nieuws is dat daar op EU-niveau over nagedacht wordt, bijvoorbeeld in de European Group on Ethics and New Technologies (EGE).

Amnesty is natuurlijk ook geïnteresseerd in predictive policing, de systemen die de politie gebruikt om de kunnen anticiperen waar politie-inzet nodig zal zijn en wat de dienders die naar een incident gaan daar kunnen verwachten. Een bekend probleem in deze sfeer is het zelfversterkende karakter van de informatie uit de data. Uit Amerikaans onderzoek is bekend dat bepaalde voorspellingen zwarte Amerikanen discrimineren. Als er veel data over zwarte mensen of over bepaalde buurten zijn, dan bestaat de neiging om daar extra inzet te plegen. Dit verklaart bijvoorbeeld waarom relatief veel zwarte mensen te maken krijgen met politie-inzet. Maar dat weten de AI-mensen van de politie – als het goed is – natuurlijk ook wel. We zijn het eens dat overheidsorganisaties hun voorspelsoftware zodanig moeten (laten) ontwerpen dat zij kunnen verantwoorden hoe de voorspellingen tot stand komen. Dus moet de politie hun AI transparant kunnen maken als de rechter daar in een zaak om vraagt. En wij rechters zullen ons moeten verdiepen in algoritmen en hun werking, anders kunnen we niet de goede vragen stellen. Een mooie conclusie voor 10 december, Internationale Mensenrechtendag. Een dag voor de robotrechter lijkt zo nog niet nodig.

Wilt u geen belangrijk juridisch nieuws meer missen?

Abonneer u op de Mr. nieuwsbrief: elke dinsdag rond de lunch een update van het nieuws van de afgelopen week, de laatste loopbaanwijzigingen en de recentste vacatures. Meld u direct aan en ontvang elke dinsdag de Mr. nieuwsbrief.

Over de auteur

Dory Reiling

Dory Reiling

Dory Reiling was tot voor kort rechter in Amsterdam en product owner van KeI-IT Civiel, het digitaliseringsprogramma van de rechtspraak. Ze deed rechtspraak-IT bij de Wereldbank en de Raad van Europa. In 2009 promoveerde ze op "Technology for Justice", over IT en Rechtspraakhervorming.

About Author

Dory Reiling

Dory Reiling

Dory Reiling was tot voor kort rechter in Amsterdam en product owner van KeI-IT Civiel, het digitaliseringsprogramma van de rechtspraak. Ze deed rechtspraak-IT bij de Wereldbank en de Raad van Europa. In 2009 promoveerde ze op "Technology for Justice", over IT en Rechtspraakhervorming.

Recente vacatures

Recente vacatures
Poelman van den Broek Advocaten – Op het scherp van de Snede (Rectangle)