Wat kan er worden gedaan om algoritmische discriminatie binnen de overheid tegen te gaan? In juni 2023 trok de zaak DUO de aandacht. De Dienst Uitvoering Onderwijs (DUO) voor studenten en scholieren heeft een algoritme gebruikt om fraude met uitwonende studiebeurzen vast te stellen. Opvallend veel studenten met een migratieachtergrond werden als fraudeurs aangemerkt.

NOS op 3 berichtte dat DUO sinds 2012 werkt met een algoritme om mogelijke fraude op te sporen. Met zelfbedachte risico-indicatoren zoals leeftijd en opleidingsniveau selecteert het systeem potentiële fraudeurs. En nu, tien jaar later blijkt dat er veel mis is gegaan bij de opsporingsmethode. Het algoritme dat studenten selecteert heeft bijvoorbeeld geen wetenschappelijke basis. Bovendien is de methode in de testfase niet gebaseerd op neutrale gegevens, maar gevoed met ‘ervaringen’ van medewerkers van DUO.
Bijna 10.000 studenten zijn de afgelopen tien jaar door DUO beschuldigd van fraude. Ruim 6000 studenten gingen in bezwaar, van wie een op de vijf gelijk kreeg.

Lucas Haitsma schreef een blog over DUO, algoritmes en discriminatie op de site van Rijksuniversiteit Groningen (RUG). Voor zijn promotie op deze universiteit onderzoekt hij hoe algoritmische discriminatie ontstaat, hoe het voorkomen kan worden en welke rol de wetgeving daarbij speelt.

Lucas Haitsma:
“De casus van DUO lijkt deel uit te maken van een breder patroon waarin handhavingsinstanties algoritmes gebruiken met discriminatie als gevolg. Zo werd een rechtszaak aangespannen om het gebruik van SyRI, een algoritmisch systeem dat werd gebruikt om risicosignalen van fraude te genereren, te stoppen.
De rechter oordeelde dat SyRI in strijd was met Europese wetgeving. De rechter merkte op dat de kans op discriminatie en stigmatisering hoog was. Ook de Belastingdienst gebruikte een algoritme om de kans op onrechtmatigheid en fraude bij toeslagen te berekenen. In 2018 kwam naar buiten dat duizenden ouders die kindertoeslag ontvingen onterecht waren geregistreerd als fraudeurs – ook wel de Toeslagenaffaire genoemd.
Er is nadien aangetoond dat ook hier sprake was van discriminatie. Veel van die ouders hadden buitenlandse nationaliteiten en behoorden tot specifieke etnische minderheden. Een recenter voorbeeld is het algoritme van gemeente Rotterdam dat gebruikt werd om bijstandsfraude op te sporen. Uit de onderzoeksrapporten en testen is gebleken dat ook dit algoritme discrimineerde. In dit geval werd geselecteerd op basis van etniciteit en geslacht, wat zichtbaar was in de daaropvolgende controles.

Deze casussen schetsen een duidelijk probleem, namelijk dat non-discriminatie onvoldoende wordt gewaarborgd door handhavingsinstanties die gebruikmaken van algoritmes. Het gevolg hiervan is dat specifieke groepen burgers herhaaldelijk slachtoffer zijn van discriminatie door de overheid. In deze cases zijn de discriminerende effecten van gedigitaliseerde fraudeaanpakken achteraf gesignaleerd door de media, de Autoriteit Persoonsgegevens, de Nationale Ombudsman of de rechter. Maar het achteraf constateren en herstellen van algoritmische discriminatie is ingewikkeld, kostbaar en tijdrovend. Burgers zouden niet afhankelijk moeten zijn van dergelijke ex-post mechanismen om hun grondrechten incidenteel te waarborgen. De overheid moet dit waarborgen door discriminatie te voorkomen”.

Tot slot schrijft Haitsma dat instanties duidelijke strategieën moeten opstellen om schendingen van het recht van non-discriminatie te voorkomen: “In mijn promotieonderzoek kijk ik naar het ontstaan van algoritmische discriminatie, hoe dit voorkomen wordt en kan worden, en welke rol de wetgeving hierbij speelt. Ik hoop kennis op te doen die bijdraagt aan het voorkomen van algoritmische discriminatie binnen handhavingsinstanties”.

Lees de hele blog Algoritmes en discriminatie, door Mr. Lucas Haitsma, Rijksuniversiteit Groningen, 3 augustus 2023: ww.rug.nl/rechten/recht-en-samenleving/blog/algoritmes-en-discriminatie-bij-duo

Toeslagenschandaal in Australië

Op dezelfde site van de RUG schreef Maarten Bouwmeester een blog over Robodebt: het Australische toeslagenschandaal?

“Op vrijdag 7 juli 2023 werd het onderzoeksrapport van de Royal Commission naar het Australische Robodebt-schandaal gepubliceerd. Tussen 2015 en 2019 werden bijna 500.000 uitkeringsontvangers door een geautomatiseerd besluitvormingssysteem geconfronteerd met onrechtmatige schuldinvorderingen, in veel gevallen met desastreuze gevolgen. Het falen van Robodebt doet op veel manieren denken aan het Nederlandse toeslagenschandaal”.

De twee schandalen zijn niet alleen voorbeelden van beleidsfalen, maar ook van collectief falen op het niveau van de rechtsstaat. Zoals het toeslagenschandaal ‘systeemfalen’ in de Nederlandse rechtsstaat heeft blootgelegd, staat Robodebt symbool voor cruciale tekortkomingen in het Australische systeem van rechtsstatelijke waarborgen en controlemechanismen.

Bouwmeester aan het slot van zijn artikel:
“De belangrijkste les is volgens mij dat deze incidenten niet losstaand zijn. ‘Ons’ toeslagenschandaal en Robodebt moeten niet worden gezien als unieke incidenten, maar als deel van een bredere categorie van ‘handhavingsfiasco’s’ in de sociale zekerheid. Behalve met Robodebt is het Nederlandse toeslagenschandaal inmiddels vergeleken met gebeurtenissen in onder meer Noorwegen, Arkansas en Michigan (VS). Het is van groot belang dat we leren van deze gebeurtenissen. Het is daarom goed dat er toenemende aandacht is voor de risico’s van de digitale verzorgingsstaat. Zulk onderzoek is nodig om de rechtsstaat te versterken en daarmee nieuwe handhavingsfiasco’s in de kiem te smoren – of op zijn minst tijdig een halt toe te roepen.

Lees de hele blog Robodebt: het Australische toeslagenschandaal? door Mr. Maarten Bouwmeester, Rijksuniversiteit Groningen, 13 juli 2023: www.rug.nl/rechten/recht-en-samenleving/blog/robodebt-het-australische-toeslagenschandaal

Studenten met migratieachtergrond opvallend vaak beschuldigd van fraude, minister wil systeem grondig nagaan, door Sumeyye Ersoy en Salwa van der Gaag, NOS op 3, 21 juni 2023: https://nos.nlOp deze site
staat een video waarin getoond wordt hoe DUO fraude opspoort

Minister gaat fraudecontroles bij DUO onderzoeken, ‘studenten met migratieachtergrond vaker beschuldigd’, Algemeen Dagblad, 21 juni 2023: www.ad.nl

Dienst Uitvoering Onderwijs (DUO) voor studenten en scholieren, Rijksoverheid: www.rijksoverheid.nl/contact/contactgids/dienst-uitvoering-onderwijs-duo-studenten-en-scholieren

De voordelen en risico’s van data en algoritmen, Digitale overheid:www.digitaleoverheid.nl/nieuws/de-voordelen-en-risicos-van-data-en-algoritmen/

Afbeelding bovenaan is van Rollstein