Responsible AI in Finance
Artificial Intelligence (AI) plays a significant role in daily life. For example, in the financial sector, it can be used for fraud detection, loan approvals, and personalized customer service. However, using AI also introduces (or exacerbates) various risks. This article explores immediate risks like privacy concerns and bias, systemic risks such as the concentration of power among a few major companies, and existential risks related to advanced AI development. We highlight the importance of Responsible AI, a field focused on developing AI systems that align with societal moral values.
Van aanbevelingen op Netflix tot persoonlijke fitness trackers, Artificiële Intelligentie (AI) is niet meer weg te denken uit ons dagelijks leven. Het kan gedefinieerd worden als ‘probleemoplossend vermogen van computers/machines/installaties op basis van het herkennen van verbanden en patronen’.(1) In dit stuk, zullen we het vooral hebben over predictieve AI, die gebruikt wordt om voorspellingen te maken door patronen te zoeken in historische data, en generatieve AI, die zich richt op het genereren van nieuwe data die vergelijkbaar is met bestaande data. De lancering van ChatGPT eind 2022 heeft generatieve AI een grote boost gegeven bij het brede publiek.
De toepassingen van AI zijn talrijk, zo ook binnen de financiële sector. Zo worden AI-algoritmes onder andere ingezet voor fraudepreventie door het detecteren van ongebruikelijke transactiepatronen, en om te bepalen wie wel of niet een lening moet krijgen door het analyseren van historische datasets. AI-gestuurde chatbots worden gebruikt om de klantenservice te verbeteren, en deze maken het ook mogelijk om diensten te personaliseren. Tradingplatformen gebruiken AI om grote hoeveelheden marktdata te analyseren en koop- en verkoopbeslissingen in real-time te nemen. Hoewel AI-systemen dus duidelijk aanzienlijke voordelen kunnen bieden voor deze sector, brengen ze ook risico’s met zich mee.
Het onderzoeksdomein dat zich bezighoudt met deze risico’s, en met de ontwikkeling van AI-systemen die in lijn zijn met de morele waarden van onze maatschappij, noemen we ook wel Responsible AI (Martens, 2022). We kunnen deze risico’s opdelen volgens drie domeinen: korte termijn risico’s, systeem risico’s en existentiële risico’s.
De eerste set van risico’s zijn ook degene die vervat zitten in de nakende Europese AI Act. Hierbij worden risico’s zoals privacy kwesties, geautomatiseerde discriminatie en gebrek aan transparantie aangepakt. Laten we even inzoemen op de transparantie, discriminatie en misinformatie risico’s.
Korte termijn risico’s
De eerste set van risico’s zijn ook degene die vervat zitten in de nakende Europese AI Act. Hierbij worden risico’s zoals privacy kwesties, geautomatiseerde discriminatie en gebrek aan transparantie aangepakt. Laten we even inzoemen op de transparantie, discriminatie en misinformatie risico’s.
Black-box modellen
Het eerste korte-termijn risico dat we zullen bespreken is de complexiteit van de gebruikte AI-modellen. In sommige (schaarse) gevallen wordt een simpel model gebruikt waarvan de architectuur nog door mensen geïnterpreteerd kan worden. Maar aangezien de data steeds groter en complexer wordt, is dit steeds vaker ook het geval met het gebruikte model. Wanneer bijvoorbeeld deep learning modellen gebruikt worden, wordt er een gigantisch artificieel neuraal netwerk getraind, met enorm veel parameters. Zulke complexe AI-modellen die niet langer menselijk begrijpbaar zijn, worden ook wel black-box modellen genoemd.
Het probleem met deze black-box modellen is dat we niet zeker weten welke factoren leiden tot een bepaald resultaat, en dat we dus ook niet zeker weten of beslissingen genomen worden op basis van factoren die wij wenselijk achten. Bovendien zijn er wettelijke verplichtingen om beslissingen die gemaakt worden door een AI-model uit te leggen. Wanneer een bank bijvoorbeeld weigert een lening te geven aan een bepaalde persoon op basis van een voorspelling van een AI-model, zal deze hier een reden voor moeten kunnen geven.
Een mogelijke oplossing voor beide problemen, is Explainable AI (XAI). Dit zijn technieken die gebruikt kunnen worden om de beslissingen van complexe black-box modellen toch uitlegbaar te maken, en dus kunnen helpen om verantwoording te geven bij geautomatiseerde beslissingen.
Discriminatie
Een tweede korte termijn risico is discriminatie tegen bepaalde demografische groepen.
Datasets bevatten vaak een vorm van bias, wat betekent dat er patronen zullen inzitten die bepaalde groepen zullen bevoordelen of benadelen. Dit kan bijvoorbeeld gebeuren bij data die gebruikt wordt om te voorspellen of iemand kredietwaardig zal zijn.
Stel bijvoorbeeld dat de historische dataset aangeeft dat vrouwen minder toegang tot krediet en financiële diensten kregen (mogelijks omdat mannen in de traditionele rolverdeling vaker de 'hoofdverdiener' waren). Als gevolg hiervan kan een credit scoring model dat getraind wordt op deze historische gegevens, geneigd zijn om mannen hogere scores toe te kennen dan vergelijkbare vrouwen.
Maar waarom verwijderen we dan niet simpelweg alle sensitieve attributen (zoals gender of etniciteit) uit de dataset, zodat deze niet gebruikt kunnen worden door het AI-model?
Helaas biedt dit geen oplossing, omdat de dataset bijna altijd andere attributen bevat die hiermee gecorreleerd zijn. In de Verenigde Staten bijvoorbeeld, is etniciteit erg gecorreleerd met de postcode. Wanneer etniciteit verwijderd wordt, zal het AI-model dit nog steeds kunnen benaderen door de postcode van de applicant te gebruiken, en kunnen er dus nog steeds beslissingen gemaakt worden die etniciteit als (indirecte) factor gebruiken. Dit soort praktijken wordt ook wel redlining genoemd, wat verwijst naar de discriminerende praktijk waarbij banken bepaalde buurten, vaak met een hoge concentratie van minderheden, uitsluiten van leningen of andere financiële diensten (Martens, 2022).
Om toch discriminatie tegen te gaan, kunnen bepaalde metrieken gebruikt worden om te testen of de output van een AI-model fair is. Het probleem is dat er verschillende metrieken bestaan, die het per definitie niet eens zijn met elkaar. Wanneer we bijvoorbeeld bij het toekennen van krediet willen vermijden dat er gediscrimineerd wordt op basis van gender, kan een vereiste zijn dat er een gelijk aantal mannen en vrouwen krediet krijgt. Maar een andere metriek kan eisen dat, gebaseerd op het aantal applicanten van elk geslacht, een gelijke proportie van mannen en vrouwen krediet krijgt. Nog een andere metriek gaat na of het AI-model even accuraat is voor mannen en vrouwen. Alleen al de keuze voor welke metriek gebruikt moet worden (en er zijn er veel meer), heeft dus al morele, en dus ook mogelijks reputatie, implicaties.
Misinformatie
De voorbeelden die we besproken hebben voor de vorige twee korte-termijn risico’s kwamen uit predictieve AI. Deze issues spelen echter ook mee bij generatieve AI, aangezien het hier ook niet duidelijk is hoe de modellen hun output genereren (in GPT-4 zitten bijvoorbeeld meer dan een triljoen parameters, dus dit is verre van interpreteerbaar). Daarnaast kan de output van generatieve AI-modellen ook bias bevatten, wat ervoor kan zorgen dat bepaalde stereotypes versterkt of gerepliceerd worden, of dat ze er niet in zullen slagen om diverse outputs te creëren.
Het gebruik van generatieve AI leidt echter nog tot een ander specifiek risico, omdat ze worden gebruikt om nieuwe data te genereren, maar dit betekent niet dat deze data per se juist is. Integendeel zelfs, deze systemen zullen vaak foutieve of verzonnen informatie genereren, maar niet iedereen is zich hiervan bewust. Dit heeft een advocaat al aan den lijve ondervonden, toen hij ChatGPT gebruikte voor zijn gerechtelijk onderzoek.(2) Dit leidde ertoe dat hij compleet verzonnen rechtszaken citeerde in de rechtbank. In dit geval werd de foutieve output niet met opzet gegenereerd, maar dit kan ook het geval zijn wanneer generatieve AI gebruikt wordt om deepfakes te genereren. Zo kunnen deze modellen ingezet worden om fake news te creëren dat moeilijk te onderscheiden is van echte nieuwsberichten.
Desondanks kan het gebruik van generatieve AI nog steeds grote productiviteitswinsten opleveren binnen bedrijven, aangezien het bepaalde taken efficiënter of zelfs volledig automatisch kan maken. Maar het is wel belangrijk dat men zich bewust is van de mogelijke risico’s en hier rekening mee houdt.
Systeem risico’s
Daarnaast zijn er belangrijke systeemrisico’s. Allereerst zien we een enorme concentratie van macht bij enkele niet-Europese spelers. In generatieve AI zien we dat Amerikaanse bedrijven zoals OpenAI (o.a. ChatGPT), Google (o.a. Gemini) en Microsoft (o.a. Copilot) duidelijk de marktleiders zijn. In een breder perspectief zien we deze evolutie in AI al enkele jaren, waarbij vooral Amerikaanse en Aziatische technologiegiganten het domein domineren. In een artikel maakte Time Magazine een lijst van de meest invloedrijke personen in het domein van AI.(3) Slechts 10% waren academici, en slechts 10% waren Europeanen. Waarom is dat een risico? Wel, deze bedrijven beheersen de technologie. OpenAI bijvoorbeeld, houdt zijn AI-modellen geheim, wat betekent dat zij alleen een gedetailleerd begrip hebben van de laatste innovaties. Tegelijkertijd hebben ze dan ook de controle over die technologie, met implicaties voor prijszetting of zelfs geopolitieke macht in een steeds belangrijkere sector. Uiteindelijk leidt deze concentratie ertoe dat zij de conversatie in onze maatschappij bepalen. Wanneer politieke leiders over het onderwerp willen reflecteren, gebeurt dit meestal met een CEO van een groot techbedrijf, die uiteraard een eigen agenda heeft.
Een tweede systeemrisico is de implicatie op de arbeidsmarkt. Enerzijds zien we een stijgende vraag naar AI-talent, onder andere om AI-modellen te implementeren, uit te rollen en training te verzorgen. Tegelijkertijd heeft dit een enorme impact op bestaande banen, waarbij vele banen veranderen en efficiënter kunnen worden uitgevoerd met behulp van AI. Denk aan copywriters of administratieve medewerkers, maar ook hoogopgeleide functies zoals radiologen en auditors zullen een impact ondervinden. Hierbij is de quote van Scott Galloway inspirerend: “AI is not gonna take your job. Someone who understands AI is gonna take your job. Get good at it.”
Existentiële risico’s
Momenteel werken we vooral aan ‘Artificial Narrow Intelligence’ (ANI), waarbij AI wordt ingezet voor specifieke taken zoals credit scoring of fraude detectie. De volgende stap zou ‘Artificial General Intelligence’ (AGI) zijn, wat Sam Altman (CEO van OpenAI) beschrijft als een “median remote co-worker”. Met andere woorden, een AI die je collega die gemiddeld (of beter: mediaan) werk levert en altijd van thuis werkt, kan vervangen. En dit niet voor één specifieke taak, maar voor alle taken. Weinigen beseffen dat de missie van OpenAI de veilige ontwikkeling van AGI is, en niet het maken van leuke chatbots. De implicaties op de arbeidsmarkt, belastinginkomsten, of algemene tijdsbesteding kunnen enorm zijn. Alleszins een interessant scenario voor een stress test.
Wanneer we nog een stap verder gaan, komen we aan AI die zichzelf kan verbeteren, die zichzelf vervolgens weer kan verbeteren, enzovoort. Dit zou dan leiden tot een exponentiële groei van de intellectuele capaciteit van AI, en dit in zeer korte tijd. De enorme impact die een dergelijke ‘Artificial Super Intelligence’ zou teweegbrengen is volledig ongekend. Vaak worden de existentiële risico’s daarbij aangehaald: zijn we als mensheid gedoemd bij het ontstaan van ASI? AI-onderzoekers hebben zelfs een naam voor deze kans op extinctie: de “p-doom”. Deze discussie is allemaal wat speculatief, maar het feit dat twee van de drie godfathers van AI een p-doom hebben die 10% overstijgt, zou ons toch moeten alarmeren en zeker aanzetten tot reflectie over onze rol in dit AI-tijdperk.(4)
###
Als je graag meer te weten wilt komen over dit onderwerp, verwijzen we je graag door naar het boek ‘Data Science Ethics: Concepts, Techniques and Cautionary Tales’ (Martens, 2022)(5).
###
Authors
