De trust fall: je laat je achterover vallen en hoopt dat iemand je opvangt. Spannend, maar niet zonder risico. Tijdens het Aimbtenaar Community-event had professor Lode Lauwaert het over ethische AI-valkuilen. Eén daarvan is automation bias: het blind volgen van AI-output en je eigen oordeel uitschakelen. Een trust fall met AI dus, alleen staat AI niet altijd klaar om je op te vangen.
Stel: een sociale dienst gebruikt AI om het frauderisico van een uitkeringsaanvraag in te schatten. De AI-tool berekent een risicoscore, die als vertrekpunt dient voor verder onderzoek. In theorie toch. Want wat als de tool het meestal bij het rechte eind heeft? Dan beginnen medewerkers de score te vertrouwen. Te veel. Tot ze bijna automatisch het advies van de AI-tool volgen, ook als dat ten koste gaat van burgers die ten onrechte geen uitkering krijgen. Dit is automation bias in actie: wanneer mensen de output van een systeem zwaarder laten doorwegen dan hun eigen inschattingsvermogen.
Wat kan je hieraan doen? Begin bij opleiding en bewustwording: medewerkers moeten weten wat automation bias is en waar de gevaren zitten. Daarnaast kan je bij hoog-risicobeslissingen verplichte controlemomenten inbouwen, waarbij minstens drie onafhankelijke indicatoren worden nagekeken. Het AI-advies kan er daar één van zijn, maar moet altijd aangevuld worden met niet-AI-gegenereerde signalen zoals menselijke beoordelingen of bewijsstukken. Tot slot loont het om gebruiksgedrag op te volgen. Als blijkt dat medewerkers in 90% van de gevallen het AI-advies volgen terwijl het systeem slechts 80% accuraat is, dan is dat een duidelijke rode vlag.
De presentatie van professor Lauwaert, met vijf andere ethische risico’s, vind je op de community (kanaal ‘documenten’ > gedeeld). Nog geen lid? Schrijf je in via deze link. De moeite. Vertrouw me maar.