Volgens Quirine Eijkman van het College ligt een van de grootste risico’s verbonden aan artificiële intelligentie op het gebied van discriminatie – “we hoeven het niet te hebben over de toeslagenaffaire”. Maar de kennis en het bewustzijn hieromtrent is vaak nog onvoldoende, terwijl AI en algoritmes steeds belangrijker worden in allerlei vormen van besluitvorming: “Het is overal”. Bijvoorbeeld bij werving en selectie. In zijn position paper noemt het College het voorbeeld van een recruitmentsysteem dat gebruikmaakt van het criterium ‘onafgebroken jaren werkervaring’, hetgeen vrouwen vaker benadeelt dan mannen door een gat in het cv in verband met zwangerschap of zorg voor de kinderen. Ook bij de overheid is het bewustzijn nog niet tot in alle lagen doorgedrongen.
Digitale sluier
De rechtsbescherming tegen (indirecte) discriminatie door algoritmes is niet op orde. Rechtsbeschermingsmechanismes (zoals het College voor de Rechten van de Mens) zijn doorgaans afhankelijk van een klacht. Volgens Eijkman is het aanvechten van een AI-systeem echter voor “de individuele burger technisch gezien bijna onmogelijk”, omdat deze de kennis en de kapitaalkracht ontbeert. Eventuele mensenrechtenschending zou de verantwoordelijkheid van degene moeten zijn die AI toepast, en welke zich dan ook niet achter een digitale sluier mag verschuilen. Daarom zou controle aan de voorkant verplicht moeten worden gesteld, door de invoering van een verplichte, wettelijke mensenrechtentoets. Die zou moeten gelden voor overheden, bedrijven en werkgevers, en zich in het bijzonder richten op gelijke behandeling en non-discriminatie.
Controle en transparantie
Daarnaast oppert Eijkman dat gebruikers van algoritmen deze periodiek controleren op discriminerende effecten. Artificiële intelligentie kent een zelflerend vermogen, waardoor er naar verloop van tijd onwenselijke verbanden in kunnen sluipen. Hier zou regelmatig kritisch naar moeten worden gekeken. Als derde wordt aanbevolen dat algoritmegebruikers meer transparantie betrachten over de gebruikte technieken, zodat burgers, journalisten en onderzoekers kunnen bijdragen aan de rechtsbescherming.