Synthetische datageneratie
Bij het auditeren van algoritmische systemen is een van de meest urgente vragen de representativiteit van de brondata. Privacy vormt echter vaak een hindernis voor het delen van data met externe partijen om vooroordelen te testen. Zonder toegang tot de brondata kunnen externe auditors de representativiteit niet beoordelen, wat het vertrouwen in de gebruikte datasets kan verminderen. Synthetische datageneratie (SDG) – kunstmatige datasets die de statistische kenmerken van de originele dataset nabootsen – is een mogelijke oplossing voor dit probleem. Het wordt beschouwd als een veilige benadering voor het delen van gevoelige data, omdat het geen identificeerbare sporen bevat van de persoonlijke data op basis waarvan het is gegenereerd. Dit project stelt een open-source routekaart op, waarin wordt beschreven hoe en wanneer organisaties het beste SDG of alternatieve methoden kunnen gebruiken.
In 2023 is de open-source bias-detectietool van Stichting Algorithm Audit geselecteerd als finalist in de Stanford’s AI Audit Challenge. Voortbouwend op state-of-the-art onderzoek uit de fair machine learning-literatuur, omvat de tool een unsupervised clustering-methode die complexe en verborgen vormen van vooroordelen (bias) ontdekt. Dit project resulteert in een verbeterde versie van de tool, op het gebied van robuustheid, statistische methodologie en gebruiksvriendelijkheid. Zo wordt de internationale AI auditing-gemeenschap in staat gesteld geavanceerde statistiek te gebruiken om vooroordelen in algoritmische systemen te detecteren.
Algoprudentie
Met behulp van bovenstaande open-source AI auditing-tools worden normatieve vraagstukken die zich voordoen bij de inzet van algoritmische systemen geïdentificeerd. Voor deze hete hangijzers worden diverse, deliberatieve adviescommissies bijeengebracht. Deze commissies brengen in democratisch zicht normatieve advies uit. Dit advies (algoprudentie) stelt anderen in staat om:
te leren over de complexe interactie van recht, statistiek en ethiek;
het advies te bevragen en te bekritiseren; en
meer algoprudentie op te bouwen waaruit publieke standaarden voor ongewenste vooroordelen, mens-machine interactie en uitlegbaarheid kunnen worden afgeleid.
Samenwerking
Dit project is gefinancierd vanuit de samenwerking van SIDN fonds met het ministerie van Binnenlandse Zaken over de ondersteuning van digitale gemeenschapsgoederen. Lees meer
Dit is een gescout project binnen het programma Internet & maatschappij. We steunen projecten die publieke waarden stimuleren en zich inzetten voor een Responsible Internet. Gescoute projecten zijn projecten die alleen op uitnodiging bij ons kunnen aanvragen.
