Ethical Risk Assessment Tool
Bijdrage aan de inzet van eerlijke algoritmes door beoordeling en aanbeveling van gebruikte methoden en ontwikkeling van technische standaarden.
Ontwikkeling van eerlijke algoritmes
Wat zijn eerlijke algoritmes? Hoe kan geautomatiseerde besluitvorming eerlijker? Dit project buigt zich over ethische kwesties bij digitale risicobeoordelingstools (zoals bij de aanvraag van een hypotheek, verzekering of bijstandsuitkering). Nationaliteit, etniciteit of geboorteplaats zijn voorbeelden van beschermde variabelen die niet ingezet mogen worden. Welke variabelen kun je wél op een verantwoorde manier gebruiken? Via een onafhankelijke auditcommissie onderzoekt dit project methodologieën en gegevensverwerkingsmethoden en doen ze aanbevelingen over ethische kwesties. Resultaten worden gedeeld in de vorm van best practices en technische standaarden voor eerlijke algoritmes. Als Proof of Concept ontwikkelt dit project een verantwoord risicotaxatie-algoritme ter ondersteuning van uitkeringsfraudedetectie, dat beschikbaar komt voor alle Nederlandse gemeenten.
Afbeelding: Christine Daniloff, MIT
Dit is een pioniersproject. SIDN fonds ondersteunt projecten in de idee-fase, zodat het idee door een sterk team verder uitgewerkt kan worden naar een eerste versie, pilot of experimenteel ontwerp.
Opinie: Bestaansrecht van algoritmen
APRIL 22 | Volgens Jurriaan Parie is het zaak dat de Nederlandse overheid werk maakt van nationale wetgeving voor algoritmen. Lees zijn opiniestuk in het FD We moeten ons bezinnen op het bestaansrecht van algoritmen (13-04-22)
Opinie: Algoritmewaakhond
Normering is een publieke taak, die niet aan de markt mag worden uitbesteed. Wie bepaalt bijvoorbeeld of het 'eerlijk' is om onderscheid te maken op basis van laaggeletterdheid of postcode? Lees het opiniestuk van Ariën Voogt (bestuurslid van Stichting Algorithm Audit) in het FD Maak nieuwe algoritmewaakhond een bulldog in plaats van een schoothond (29-12-22)
AI Audit Challenge
JAN 23 | De bias scan web applicatie is geselecteerd als finalist bij Stanford's AI Audit Challenge. De challenge voor toegepaste tools die kunnen beoordelen of ingezette AI-systemen vooroordelen vertonen of potentieel voor discriminatie bevatten. De bias scan tool van Stichting Algorithm Audit identificeert clusters van gebruikers die een hoger risico lopen op een verkeerde classificatie. Lees meer over de tool.
Resultaten
JAN 24| Nieuwe uitbreiding met 2 cohorten die de open source toolkit voor AI-bias testing verder zullen ontwikkelen: - Hulpmiddel voor biasdetectie (BDT) - Synthetische gegevensgeneratie (SDG).
MRT 23 | Het project is afgerond. De bias scan tool is ontwikkeld ter ondersteuning voor audit commissies bij het geven van praktisch advies over ethische fraude detectie-algoritmen. Er is een case-study uitgewerkt over het gebruik van sim-kaarten als input variabele om betalingsfraude te detecteren.
Uit het project is bovendien stichting Algorithm Audit voortgekomen. Algorithm Audit is de eerste NGO in haar soort op het vlak van ethische AI: de stichting verdiept zich in casussen uit de praktijk en bouwt daarmee publiek toegankelijke kennis op over de verantwoorde inzet van algoritmen.