Analyse van DUO en algoritmeschandaal: Toets toepassing AI aan algemene rechtsbeginselen

DUO – Dienst Uitvoering Onderwijs – heeft gebruik gemaakt van een geautomatiseerd beslis ondersteunend systeem ten behoeve van de opsporing en bestrijding van fraude. Met behulp van algoritmen (een combinatie van data) wilde men misbruik in het studentenleningenstelsel opsporen en bestraffen.

Het lijkt er op dat dit systeem zeer discriminerend heeft uitgepakt. De NOS en Investico (een journalistiek onderzoeksplatform) deden navraag bij advocaten die van fraude beschuldigde studenten hebben ondersteund: van de 396 gevallen bij hen in portefeuille hadden 367 studenten een migratieachtergrond, dus 97%. Minister Dijkgraaf van Onderwijs, Cultuur en Wetenschap (OCW) heeft naar aanleiding daarvan gelast dat DUO onmiddellijk stopt met de toepassing van dit systeem – dat al sinds 2012 wordt gebruikt – en heeft opgedragen dat men grondig nagaat wat er misging.
De schaal is minder omvangrijk dan bij de Toeslagenaffaire, maar ook hier gaat het om mensen met een laag inkomen en ook hier moeten de veronderstelde fraudeurs duizenden euro’s terugbetalen aan eerder ontvangen leningen, plus boetes. En ook hier is de bewijsvoering (van fraude) door de overheid zacht gezegd zeer gebrekkig.

Op het Verfassungsblog,  een Duits open forum over constitutioneel recht lichten academici en journalisten dit soort praktijken in diverse landen door. Sarah de Heer schrijft er een interessant stuk over deze DUO casus^*) . Zij is verbonden aan de rechtenfaculteit van Lund (Zweden) en onderzoekt zogenaamde ADM systemen (Automated Decision Making).
Sarah de Heer concentreert zich in haar blog op de algemene rechtsbeginselen die bij dit type AI toepassingen (Artificial Intelligence, kunstmatige intelligentie) aan de orde zijn.

Bezoek aan huis

Het blijkt dat uiteindelijk ongeveer 1000 op basis van de geautomatiseerde selectie opgespoorde studenten bezoek  aan huis kregen van inspecteurs. De hoogte van de studielening is onder meer afhankelijk van de  vraag of men thuiswonend dan wel uitwonend is, en vooral dat zijn de inspecteurs gaan controleren. De werkwijze van de inspecteurs is vaak nogal onzorgvuldig (veel bezoeken worden afgelegd in vakanties en op tijdstippen dat de studenten afwezig zijn) en de bewijzen die ze daarbij verzamelen zijn uiterst gebrekkig (vaak inlichtingen van de buren).

Sarah de Heer geeft aan dat hier meerdere algemene rechtsbeginselen geschonden zijn: er is onvoldoende zorgvuldig onderzoek gedaan, de motiveringsplicht is geschonden (een besluit tot terugbetaling is niet of onvoldoende onderbouwd ), het recht om gehoord te worden is niet nageleefd, het recht op verweer dat de betrokkenen toekomt wordt door dit alles belemmerd.
Daar komt bij dat men gebruik gemaakt heeft van data die gezien worden als risico-indicatoren, (zoals leeftijd, opleidingsniveau, diverse adresgegevens) zonder dat helder is wat dat risicoprofiel per individu betekent. Sarah de Heer acht dat vanuit het beginsel van rechtsgelijkheid discutabel.

Indirecte discriminatie

Sarah de Heer laat zien dat dit gebruik van persoonsgegevens en persoonsregistraties indirecte discriminatie teweeg kan brengen, maar ze trekt niet de conclusie dat het gebruik van algoritmen en AI door publieke instellingen gestopt zou moeten worden. De toepassingen van de systemen waar het hier om gaat dienen op zichzelf een goed doel: zorgen dat uitkeringen en voorzieningen terecht komen bij de mensen voor wie ze zijn bedoeld. De behoefte aan dit type toepassingen zal bij grote uitvoeringsorganisaties alleen maar toenemen, niet alleen in Nederland. De tekortkomingen die daarbij aan het licht komen zijn niet typisch Nederlands en vergen internationale aandacht.
De toepassingen van dit type algoritmen zijn zeer foutgevoelig en kunnen zeer ondoorzichtig zijn in hun uitwerking.

Vier aanbevelingen

Zij doet daarom vier aanbevelingen. Punt een: zij die met deze toepassingen werken moeten de uitwerking ervan goed kunnen doorgronden. Dat Is complex en vergt intensieve en goede training. Op Europees niveau wordt er gewerkt aan wetgeving die deze “AI literacy” als eis opneemt. Punt twee: voorkom en bestrijdt tunnelvisie waarbij de overheidsfunctionarissen alleen de bewijzen voor  hun eigen gelijk opnemen. Laat contra-bewijs (en verweer) toe bij de uitvoering. Punt drie: geen toepassing van algoritmen zonder wettelijke basis, een interne regeling van een uitvoeringsorganisatie (zoals bij DUO) mag niet voldoende zijn. Punt vier: zorg voor goede data en stel de openbaarmaking van gebruikte meta-data verplicht.
Dat is zeker nodig voor de data die gebruikt worden ten behoeve van de profilering, omdat dat zeer discriminatie gevoelig is en bij onzorgvuldig gebruik fundamentele burgerrechten aantast.
De openbaarmaking maakt het debat over de beperkingen en gevaren mogelijk en zal de zorgvuldigheid en kwaliteit kunnen vergroten.

^*) A Scandal on AI in Administration, Again – Fortifying Fundamental Rights in the Age of AI, Sarah de Heer, Verfassungsblog, 25 juli 2023: https://verfassungsblog.de/a-scandal-on-ai-in-administration-again/

Hans Wilmink is voortrekker van Stichting Beroepseer

U P D A T E

AI op de werkvloer: DTC en politie delen tips, Digital Trust Center, Ministerie Economische Zaken, 5 december 2023: www.digitaltrustcenter.nl/nieuws/ai-op-de-werkvloer-dtc-en-politie-delen-tips

Waarom nauwkeurige algoritmes er toch vaak naast zitten, door Joran van Apeldoorn, Bits of Freedom, 7 september 2023: www.bitsoffreedom.nl/2023/09/07/waarom-nauwkeurige-algoritmes-er-toch-vaak-naast-zitten/

Afbeelding bovenaan is van herbinisaac