Risico’s inschatten. Dat we het doen, is logisch en niet zo erg. Maar als we er zonder nadenken naar acteren, wordt dat het wel. De overheid gebruikt allerhande kansberekeningen waarmee burgers worden geclassificeerd, steeds vaker met behulp van algoritmes. Bij SyRI (Systeem Risico Indicatie) ging het te ver: te veel gegevens leverden een onevenredige inbreuk op in het privéleven. Bij de Toeslagenwet had dit grote gevolgen voor mensen. Maak daarom altijd ethische afwegingen bij innovatieve ontwerpen. Hoe gaan we daar praktisch mee aan de slag? Lees hieronder meer over de vragen die je altijd kunt stellen en het assessment dat je helpt na te denken over ethiek tijdens het ontwerpen van een systeem met algoritmes.
Om enerzijds burgers goed te ondersteunen en anderzijds fraudeurs te ontmaskeren, wordt steeds vaker ingezet op kansberekeningen. Er worden veel gegevens gebruikt ten behoeve van analyses, al dan niet met behulp van algoritmes. Bij steekproeven wordt gecorrigeerd op een representatieve samenstelling van respondenten om betrouwbare voorspellingen te kunnen doen. Door zeer grote hoeveelheden gegevens te gebruiken bij big data kunnen algoritmes patronen vinden zonder dat representativiteit nodig is. Het levert voorspellingen op en die komen niet altijd uit. Immers, resultaten op basis van het verleden bieden geen garantie voor de toekomst. Er dient dus precair te worden omgegaan met voorspellingen.
Het lijkt erop dat dit niet gebeurde bij de Amsterdamse Top400 jongeren (12-24 jaar). Op basis van een aantal gegevens, bij elkaar gebracht door een speciaal team, werd voorspeld welke jongeren een gerede kans hadden om (verder) in de criminaliteit te geraken. Om dat te voorkomen werd voor minimaal 2 jaar een regisseur toegewezen om verschillende hulpinstanties te verbinden.
Dat lijkt op zich een nobel streven, tot uit journalistiek onderzoek van de VPRO bleek dat er veel misging. Ouders wisten niet waarom hun kind in de Top400 terecht was gekomen en kregen geen antwoord op hun vragen. Hulpverleners kwamen en gingen. De politie hield de jongeren repressief in de gaten. Uit documentaires blijkt welke gevolgen de werkwijze met de Top400 had. Had dat ook anders gekund, was een aanpak mogelijk met meer oog voor (de families van) de jongeren?
*Dit is het eerste deel van een artikel uit Od 26: Echt veranderen is mensenwerk. Lees hier verder
