DNB start discussie over het gebruik van kunstmatige intelligentie
De mogelijkheden voor het gebruik van kunstmatige intelligentie (artificial intelligence, hierna: AI) in de financiële sector nemen snel toe. Zo kan een verzekeraar AI inzetten om claimfraude te detecteren, of om prijsdifferentiatie te bewerkstelligen.
Het is duidelijk dat zulke toepassingen een grote tijds- en kostenbesparing opleveren. Er zijn echter ook risico’s aan het gebruik van AI verbonden. DNB heeft daarom principes gepubliceerd voor de inzet van AI in de financiële sector.
In deze blog zet Charco & Dique uiteen wat AI precies is, waarom er risico’s aan verbonden zijn, en welke principes DNB heeft opgesteld. Ook leggen we uit wat dit betekent voor de compliance van uw onderneming.
Wat is AI?
DNB hanteert de volgende definitie van AI: “de theorie en ontwikkeling van computersystemen die taken kunnen uitvoeren die eerst menselijke intelligentie vereisten”.
Deze definitie is erg breed. Naast de genoemde voorbeelden valt bijvoorbeeld ook het gebruik van chatbots, of de inzet van algoritmen voor het vaststellen van de prijs van een financieel product onder deze definitie.
Waarom vindt DNB een discussie over het gebruik van AI nodig?
AI toepassingen missen het menselijke vermogen om te reflecteren op hun eigen performance. Hierdoor corrigeren de systemen zichzelf niet indien er sprake is van een (programmeer)fout of bias. Een voorbeeld is recruitment-software die Amazon een tijd gebruikte. Deze bleek een inherente gender-bias te bevatten tegen vrouwen, veroorzaakt doordat mannen in de tech-industrie zijn oververtegenwoordigd.
Uiteraard maken mensen ook fouten, maar wanneer een AI-systeem een fout maakt, maakt het systeem deze fout vaak direct op grote schaal.
Volgens DNB zijn zulke fouten in de financiële sector extra schadelijk. Ten eerste gebruiken financiële ondernemingen veelal dezelfde soorten toepassingen, waardoor een fout in de basis van een veelgebruikte toepassing zelfs systeemrisico’s teweeg kan brengen.
De financiële sector is bovendien volgens DNB aan een hogere maatschappelijke standaard gebonden dan andere sectoren. Hierdoor is het risico op reputatieschade groot.
In het kader van een ‘beheerste bedrijfsvoering’ moeten financiële ondernemingen de risico’s die zij lopen beheersen. Dit geldt dus ook voor de risico’s die verbonden zijn aan het gebruik van AI. Het is de taak van de compliance afdeling om hierop toe te zien. De door DNB opgestelde principes kunnen hierbij helpen.
De ‘general principles’ van DNB
De principes van DNB kunnen worden samengevat met het acroniem SAFEST: soundness, accountability, fairness, ethics, skills en transparency.
Soundness is volgens DNB het belangrijkst. AI toepassingen moeten in de eerste plaats betrouwbaar, voorspelbaar en nauwkeurig zijn, en opereren binnen de grenzen van alle toepasselijke wet- en regelgeving (waaronder ook niet-financiële regelgeving, zoals de Algemene Verordening Gegevensbescherming). De compliance afdeling moet weten welke AI toepassingen binnen de onderneming worden ingezet, om te kunnen bepalen of de applicaties hieraan voldoen. Overigens is het ook goed voor compliance om zich te beseffen dat AI ook kan helpen bij het voldoen aan wet- en regelgeving. Denk aan de inzet van AI-applicaties voor het monitoren van transacties.
Accountability betekent dat de inzet van AI een onderneming niet ontslaat van haar eigen verantwoordelijkheid jegens cliënten en derden. Integendeel: organisaties moeten de verantwoordelijkheid voor de inzet van AI geoperationaliseerd hebben binnen de organisatie. Het bestuur blijft bovendien eindverantwoordelijk is voor het adequate functioneren van de applicaties.
Met betrekking tot fairness, zullen ondernemingen voor zichzelf moeten definiëren wat zij onder fair verstaan. Vervolgens moeten zij hun AI applicaties zo ontwikkelen en trainen dat deze leiden tot uitkomsten die in lijn zijn met het fairness-begrip.
De uitkomsten van de AI toepassing moeten eveneens in lijn zijn met de ethics van de onderneming. Dat een systeem binnen de grenzen van wet- en regelgeving opereert, wil immers nog niet altijd zeggen dat het systeem afwegingen maakt die ethisch wenselijk zijn.
Ter illustratie: stel dat een AI applicatie het kredietrisico van een klant onder meer baseert op diens postcode. Toevallig is de buurman van klant A een notoire wanbetaler, waardoor de postcode van klant A door de applicatie wordt gelinkt aan een hoog kredietrisico. Hierdoor geeft de applicatie aan dat u klant A beter geen hypotheek kunt verstrekken. Zou u de aanvraag van klant A dan op basis van deze uitkomst willen afwijzen?
De tweede S staat voor skills: zowel het bestuur als de personen die op de werkvloer dagelijks met de AI systemen werken, dienen voldoende kennis te hebben van de werking van de AI toepassingen die de onderneming gebruikt. Wanneer u eigenlijk niet goed weet wat uw systemen precies doen, is het lastig om ‘in control’ te zijn.
Transparency, ten slotte, houdt in dat ondernemingen moeten kunnen uitleggen hoe zij AI toepassen in hun bedrijf en (voor zover redelijkerwijs relevant) hoe deze toepassingen functioneren. Een algoritme dat op onnavolgbare wijze het kredietrisico van een klant inschat kan misschien wel binnen de grenzen van wet- en regelgeving opereren, maar het wordt moeilijk om aan de toezichthouder aan te tonen dat dat zo is.
NRC schreef eind 2018 bijvoorbeeld over een experiment met machine learning om verzekeringsclaims op fraude te checken. Het systeem werkte erg goed, maar het kon volgens NRC niet verklaren waarom claims als verdacht werden aangemerkt. Het is daarom de vraag of de toezichthouder de toepassing van een dergelijk systeem in de praktijk (zonder nadere menselijke tussenkomst) voldoende uitlegbaar zou vinden.
Meer weten?
Heeft u vragen over een van de genoemde principes? Bent u benieuwd of de wijze waarop uw onderneming AI toepast aan de financiële wet- en regelgeving voldoet? Of wilt u ondersteuning bij het identificeren en beheren van de risico’s die verbonden zijn aan het gebruik van AI? Neemt u dan contact op.
kunstmatige intelligentie