Durch Wouter Dammers | Algemene Verordening Gegevensbescherming (AVG GDPR) | 28 November 2017 | 7 Min. Lesezeit
Stel je bent een docent op een school. Of jij jouw werk goed doet wordt beoordeeld aan de hand van de prestaties van jouw leerlingen, afgewogen tegen het landelijk gemiddelde. Krijg je een goede beoordeling, dan krijg je een bonus. Presteer je slecht, dan loop je het risico ontslagen te worden. Maar wat nu als deze beoordeling wordt gedaan door een computerprogramma, met behulp van artificial intelligence? En wat als je het niet eens bent met deze beoordeling? En wat als de leverancier van het programma zich op het standpunt stelt dat je niet mag controleren of het algoritme eerlijk of (on)juist werkt, omdat dit een schending van haar bedrijfsgeheimen zou opleveren? Ben je dan overgeleverd aan een simpel „Computer says no“?
Of stel: je wordt gearresteerd omdat je in een auto gereden die is gebruikt in een schietpartij. En je krijgt een flinke gevangenisstraf omdat een algoritme vindt dat je een hoog risico op recidive hebt? Je bent het niet eens met de straf, en je kan het algoritme niet controleren. Ben je dan overgelegd aan een simpel „Computer says no?“
Bezwaar tegen geautomatiseerde besluiten
Beide situaties zijn waargebeurde voorbeelden uit de praktijk waarin kunstmatige intelligentie (ook wel Artificial Intelligence of kortweg AI) geautomatiseerde besluiten vormt, en daartegen bezwaar is gemaakt.
Gebruik van Artificial Intelligence gestaakt
In het eerste geval trokken de docenten aan het juiste eind: Ze brachten hun zaak voor de (Amerikaanse) rechter en deze oordeelde dat het gebruik van het EVAAS-systeem (Educational Value Added Assessment System) hun burgerrechten schendt. Partijen kwamen tot een schikking en het schooldistrict besloot de software van het SAS Institute niet langer te gebruiken.
Gebruik van Artificial Intelligence toegestaan
In het tweede geval verloor de verdachte. Het Supreme Court van Wisconsin wees het argument, dat hij het algoritme niet kon controleren, af.
Bezorgdheid over Artificial Intelligence
Deze voorbeelden tonen aan dat met de opkomst van AI ook de bezorgdheid over geautomatiseerde besluitvorming steeds groter wordt. AI wordt steeds meer in de praktijk toegepast. Banken, advocatenkantoren, bedrijven, maar ook overheid en de gezondheidszorg maken er steeds meer gebruik van. Het is daarbij problematisch dat niet te controleren is of de daaronder liggende software eerlijk is en of het ter verantwoording kan worden geroepen.
Hoe werkt Artificial Intelligence?
Een kerndoel van artificial intelligence is dat machines kunnen leren hoe ze taken moeten uitvoeren en hoe ze zelfstandig en geautomatiseerd beslissingen kunnen nemen. Het verschilt daarmee van ‚klassieke‘ software doordat ze niet zijn uitdrukkelijk zijn geprogrammeerd in onbuigzame regels. Kunstmatige intelligentie kan dit doel bereiken op verschillende manieren. Eén van de meest opvallende ontwikkelingen die zich recent voordoet is het gebruik van „reinforcement learning“ (zoals AlphaGo). Een programma heeft dan een bepaald doel en een flinke verzameling aan gegevens om daarvoor te oefenen. Denk bijvoorbeeld aan het beoordelen of een rechtszaak kans van slagen heeft, op basis van alle uitspraken op dat specifieke gebied. De software begint dan met het uitvogelen van zijn taak – proberen om tot een goed oordeel te komen en dit vergelijken met eerdere pogingen van bijvoorbeeld juridische experts. Als het oordeel goed is, dan wordt het programma beloond met een score. Na elke poging verbetert het computerprogramma in het uitvoeren van zijn taak, en na een groot aantal herhalingen kan de software zelfs betere beoordelingen maken dan mensen. Op dit moment is echter nog wel vereist dat de machine een goed gedefinieerde taak krijgt. Een toekomstig doel voor AI is om ook minder goed gedefinieerde taken, of taken waarvoor geen grote verzamelingen gegevens bestaan, uit te kunnen voeren. Daarvoor dient AI te beschikken over een common sense, of gezond verstand.
Onjuiste besluitvorming door fouten in code of gegevensverzamelingen
Dat kunstmatige intelligentie niet altijd tot de juiste uitkomst leidt is tot daar aan toe. Maar uit onderzoek blijkt dat AI ook geregeld leidt tot discriminerende besluitvorming.Onschuldige mensen werden gemarkeerd als terroristen, zieke patiënten werden door ziekenhuizen naar huis gestuurd, mensen verloren hun baan, incassozaken zaten op de verkeerde persoon, of mensen werden gediscrimineerd op basis van naam, adres, geslacht of huidskleur.
En daarachter hoeven geen slechte bedoelingen te zitten. Slechte AI is vaak niet gebaseerd op kwaadwillendheid, maar op menselijke fouten. Vaak zit de fout in de code of in vooroordelen die ingesloten waren in de gegevensverzameling waarop de software zichzelf trainde.
Hoe kan Artificial Intelligence eerlijk en transparant worden?
In onderzoek naar Artificial Intelligence wordt nu daarom veel gekeken naar hoe het eerlijk en transparant kan worden gemaakt, en hoe het ter verantwoording kan worden geroepen. Want dat is momenteel het probleem: AI wordt meestal door private partijen ontwikkeld. Hoe de software werkt wordt vaak beschermd door geheimhouding of intellectuele eigendomsrechten. En vaak is AI zó complex dat zelfs de ontwikkelaars ervan niet kunnen verklaren hoe het tot bepaalde antwoorden komt. Hoe de software werkt, en hoe het tot bepaalde antwoorden komt, is echter van cruciaal belang als het gaat om de bescherming van grondrechten.
Sommige onderzoekers hebben methodes ontwikkeld om achter de werking van AI te komen. Zo bestaat er een methode om het gemaakte besluit terug te herleiden in het neurale netwerk van het programma om te bepalen hoe het besluit is gemaakt. Een andere methode is om te bekijken wat er nodig is om het besluit van het AI programma te veranderen.
Andere onderzoekers vinden het tijd voor regulering van kunstmatige intelligentie. Daarbij wordt een vergelijking gemaakt met architecten, die aan allerlei vereisten en vergunningen moeten voldoen om gebouwen veilig te maken. Doordat AI zo groot wordt, zo belangrijk is, en zoveel risico’s met zich meebrengt, moet de wetgever volgens hun ingrijpen.
De Algemene Verordening Gegevensbescherming
In Europa zijn de eerste stappen daartoe al gemaakt. Zo is in de Algemene Verordening Gegevensbescherming (afgekort AVG, ook wel bekend als de General Data Protection Regulation, GDPR) een bepaling opgenomen waarin betrokkenen het recht krijgen om te weten of bedrijven gebruik maken van geautomatiseerde besluitvorming die voor hen van belang zijn. Ze hebben daarbij het recht op uitleg en het recht om bezwaar te maken tegen het geautomatiseerde besluit.
Helaas is dit recht beperkt. Het recht op informatie ziet bijvoorbeeld alleen op het moment vóórdat er een besluit wordt gemaakt – en niet achteraf. Bovendien kunnen besluiten alleen worden aangevochten wanneer ze volledig geautomatiseerd zijn – zonder menselijke tussenkomst – en rechtsgevolgen voor de betrokkene hebben. En ook het recht op uitleg is niet zo sterk als het lijkt.
Europese waakhond?
Er wordt daarom opgeroepen tot het oprichten van een Europese waakhond die toezicht kan houden op AI-technologie. Het zou onafhankelijke onderzoekers moeten kunnen sturen naar organisaties om de software onder de loep te kunnen nemen en om de besluitvorming na te kunnen gaan. Ook certificering van AI in sectoren als gezondheidszorg, opsporing, en verkeersveiligheid zou een rol kunnen spelen. Ook wordt geopperd om een soort van ombudsman in te stellen die kan worden benaderd om te herstellen wat er mis is gegaan.
Wat brengt de toekomst?
Hoewel de opkomst van artificial intelligence zeker zijn voordelen heeft, is het bittere noodzaak om (nog) grote(re) problemen te voorkomen en onverhoopt te herstellen. De huidige wetgeving lijkt daarvoor ontoereikend. Uiteraard is het afwachten hoe de AVG in de praktijk zal worden uitgelegd door (Europese) rechtspraak, maar de voortekens zijn niet al te rooskleurig. Een Europese waakhond die de opkomst van AI kan begeleiden, bijsturen en in cruciale sectoren kan certificeren is wat mij betreft daarom helemaal niet zo’n gek idee.
