Hoe gaat ons leven eruit zien in de geautomatiseerde maatschappij?

Een coalitie van 46 maatschappelijke organisaties & academici hebben zich aangelsoten bij AllgorithmWatch en het European Policy Centre na een oproep tot bindende transparantieregels voor online platforms. Op 30 oktober dringen zij er bij de Europese Commissie op aan transparantie voorop te stellen bij het maken van nieuwe regels voor de digitale markt.
De Europese Commissie werkt aan een opvolger voor het huidige E-commerce Directive. Deze Europese regels voor online dienstverlening zijn al bijna twintig jaar oud en vormen een belangrijke basis voor de bloei van de digitale economie. In de discussies over de Digital Services Act (DSA), die de E-Commerce Directive moet vervangen, tekent zich een verschil af tussen landen in Europa die de digitale economie omarmen en landen die vooral kijken naar gevestigde belangen.

Het Europees Parlement (EP) heeft in drie rapporten over digitale platforms een kritische toon aangeslagen richting ‘big tech’. Het hoopt dat de Europese Commissie haar uitgangspunten in nieuwe wetsvoorstellen opneemt. Die voorstellen worden op 2 december 2020 gepresenteerd.
Speerpunt is dat gebruikers anoniem gebruik zouden moeten kunnen maken van allerlei internet-diensten. Dat heeft grote gevolgen voor de aanbieders van die diensten, omdat het verkopen van gepersonaliseerde advertenties dan niet meer mogelijk is. Ook wil het EP dat er beter gecontroleerd wordt wat er op sociale media wordt geplaatst, en dat die controle niet puur automatisch plaatsvindt. Daarnaast moet de online verkoop van illegale goederen strenger worden aangepakt.

Automating Society Report 2020

Hoe gaat ons leven eruit zien in de geautomatiseerde maatschappij? AlgorithmWatch zocht het uit en publiceerde de resultaten van onderzoek in Automating Society Report 2020. Daarin wordt beschreven hoe geautomatiseerde besluitvormingssystemen mainstream zijn geworden en wordt aangegeven wat wij daartegen kunnen doen. Het rapport is het gevolg van onderzoek in zestien Europese landen, waaronder Nederland.
AlgorithmWatch is een non-profit onderzoeks- en belangenorganisatie gericht op inspecteren en analyseren van algoritmische/geautomatiseerde besluitvormingssystemen (ADM) en hun impact op de samenleving.
ADM-systemen zijn van invloed op bijna alle soorten menselijke activiteiten, met name op de distributie van diensten aan miljoenen Europese burgers.
Hoewel een voorzichtig gebruik van ADM-systemen aan personen en gemeenschappen ten goede kan komen, brengen ze grote risico’s met zich mee. AlgorithmWatch acht het van cruciaal belang dat ADM-systemen gecontroleerd kunnen worden door democratische instellingen. Het gaat AlgorithmWatch om het beschermen van de autonomie en de fundamentele rechten van de mens en het bevorderen van het algemeen belang.

Boze scholieren

Redacteur Fabio Chiusi van Algorithmwatch schreef de Inleiding tot het rapport waarin hij een voorbeeld geeft van de betekenis van ADM-systemen.

Op een bewolkte augustusdag in 2020 stroomden in Londen boze middelbare scholieren met honderden tegelijk in protest naar Parliament Square. Op de borden met leuzen stonden steunbetuigingen voor een wel heel ongebruikelijke bondgenoot: hun docenten. Nog ongebruikelijker was het doelwit: een algoritme.
Als gevolg van de COVID-19-pandemie werden de scholen in Groot-Brittannië in maart gesloten. Doordat het virus in de zomer nog steeds rondwaarde in Europa, realiseerden de leerlingen zich dat hun eindexamen zou worden afgelast en dat de beoordeling van hun prestaties anders zou zijn dan anders. Wat ze niet hadden kunnen bevroeden was dat duizenden van hun een lager cijfer kregen dan te verwachten was.

De protesterende leerlingen wezen de schuldige aan: de instelling die de kwalificaties, examens en beoordelingen regelt, het Office of Qualifications and Examinations Regulation (Ofqual) dat gebruik maakte van ADM. Het idee was de best mogelijke beoordeling te geven op basis van gegevens voor zowel de resultaten van de algemene diploma’s van het voortgezet onderwijs als de toegangskwalificatie voor de universiteit (A-level).
De cijferbeoordeling zou het patroon van voorgaande jaren volgen zodat de leerlingen in dit jaar niet de dupe zouden worden van de corona-maatregelen.
Maar, de pogingen om eerlijk te zijn tegenover leerlingen die deze zomer hun examen niet hebben kunnen afleggen, is faliekant mislukt, en op die grijze protestdag in augustus bleven de leerlingen toestromen, zingend en borden hooghoudend om uiting te geven aan een dringende behoefte aan sociale gerechtigheid.

“Stop met stelen van onze toekomst“, stond er op een bord, in navolging van de protesten van klimaatactivisten. Andere richtten zich meer op de gebreken van het ADM-systeem: “Rangschik mijn werk, niet mijn postcode”, “We zijn scholieren, geen statistieken”, daarmee de discriminerende resultaten van het systeem aan de kaak stellend.
Aan het eind barstte er uit de menigte een gezang los met een protest gericht op de toekomst: “Fuck het algoritme”. Bang dat de overheid terloops, op een ondoorzichtige manier, hun toekomst zou automatiseren, schreeuwden de scholieren om het recht hun levenskansen niet onnodig te laten beïnvloeden door een slecht systeem. Ze wilden er iets over te zeggen hebben. Hun stem moest worden gehoord.

Algoritmen zijn ‘neutraal’ noch ‘objectief’, ook al hebben we de neiging te denken dat ze dat wel zijn. Ze kopiëren aannames en overtuigingen van degenen die ze ontwikkelen, inzetten en programmeren. Mensen zijn dus verantwoordelijk, of zouden dat moeten zijn, voor zowel goede als slechte algoritmische keuzen, niet de‘algoritmen’ of de ADM-systemen. De machine mag dan wel eng zijn, maar de geest in de machine is altijd menselijk. En mensen zijn gecompliceerd, nog meer dan algoritmen…

Sociale rechtvaardigheid

Hoe dan ook, de protesterende scholieren waren niet zo naïef te geloven dat hun ellende alleen de schuld was van een algoritme. In feite waren ze met hun leuzen niet aan het scanderen tegen ‘het algoritme’. Het ging hun om sociale rechtvaardigheid. In dit opzicht lijkt hun protest op dat van de Luddieten, een sociale beweging in Engeland van begin negentiende eeuw, die zich verzette tegen industriële en technologische ontwikkelingen en gemechaniseerde weefgetouwen en breimachines vernietigde. De scholieren weten dat ADM-systemen over macht gaan, en dat ze die niet dienen te verwarren met een zogenaamde objectieve technologie. Ze riepen “Gerechtigheid voor de arbeidersklasse”, vroegen om het ontslag van de minister van Volksgezondheid en schilderden het ADM-systeem af als “klassisme op zijn best”, “schaamteloos klassisme”.
Uiteindelijk zwichtte de Britse regering voor de protesten van de scholieren. Het foutgevoelige ADM-systeem dat opleiding en kansen van de scholieren in gevaar had gebracht, werd geschrapt. Daarvoor in de plaats werden de door de leraren voorspelde cijfers gebruikt.

Maar er speelt meer dan het feit dat de protesterende scholieren uiteindelijk hebben gewonnen. Dit voorbeeld laat zien hoe slecht de systemen ontworpen, uitgevoerd en beheerd worden. Ze werken menselijke vooringenomenheid en discriminatie in de hand en maken geen gebruik van de mogelijkheden van ADM-systemen, zoals het benutten van vergelijkbaarheid en billijkheid.
Dit protest laat zien dat we niet langer slechts de samenleving automatiseren. We hebben die al geautomatiseerd – en uiteindelijk heeft iemand dat opgemerkt.

Nog een voorbeeld

In het rapport wordt uitgebreid aandacht besteed aan Nederland: How dutch activists got an invasive fraud detection algorithm banned, dat de rechtszaak behandelt van het SyRI-systeem, een wettelijk instrument dat de Nederlandse overheid gebruikte om persoonsgegevens van burgers aan elkaar te koppelen. Tegen SyRI (Systeem Risico Indicatie), was een rechtszaak aangespannen dat door eisers in februari 2020 werd gewonnen.

Een treffend voorbeeld van heimelijke gezichtsherkenning in een stad is het volgende geval dat zich afspeelde in Engeland. In augustus 2019 onthulde dagblad Financial Times dat vastgoedontwikkelaar Argent technologie gebruikte om tienduizenden mensen te volgen via camera’s die aangebracht waren op een stukje grond van King’s Cross van ruim 27 hectare en waarvan Argent eigenaar is. Er staan daar verschillende kantoorgebouwen waaronder het hoofdkantoor van Google UK, het Central Saint Martins college, scholen en een aantal winkels. Het verhaal werd opgepikt door de BBC en dagblad The Guardian en heeft een openbaar debat op gang gebracht.
Binnen een paar weken werd het bedrijf gedwongen het systeem uit te schakelen en te verklaren dat het niet van plan is in de toekomst gebruik te maken van gezichtsherkenningstechnologie in welke vorm dan ook.

Downloaden Automating Society Report 2020: https://automatingsociety.algorithmwatch.org/wp-content/uploads/2020/10/Automating-Society-Report-2020.pdf

Automating Society – AlgorithmWatch: https://automatingsociety.algorithmwatch.org/