Video van: Jim Stolze Als bedrijven op een verantwoorde manier... met jouw data om willen gaan... dan hanteren ze dus de principes van Responsible Data Science: FACT. Maar zelf vind ik dat daar nog een letter mist. De letter A van Accountability. Het gaat er namelijk niet alleen om dat je het op een verantwoorde manier doet... maar dat je ook verantwoordelijk bent. Dat je er rekenschap over aflegt. En dat is een gesprek dat je eigenlijk zou moeten voeren met je accountant. Dus dat deed ik. Ik ging naar Deloitte. Daar praatte ik met computerwetenschapper Evert Haasdijk. Dankjewel dat je tijd voor ons hebt gemaakt. -Graag gedaan. Waar zijn we hier in dit mooie pand? EVERT HAASDIJK: We zijn hier op het kantoor van Deloitte in Amsterdam, The Edge. Toen het werd opgeleverd, een paar jaar geleden... was dit het meest energie-efficiënte gebouw van de wereld. Ik weet niet of dat nog steeds zo is, maar we zeggen van wel. Het is een heerlijk gebouw om te werken. Het zit vol met sensoren, is mij verteld. Het zit vol met sensoren, dus je kan met een appje op je telefoon... het lichtniveau instellen voor alleen jouw werkplek, zoals je dat wenst. Airconditioning kan je regelen, allemaal van dat soort dingen. En er zitten dus enorme zonnecollectoren op het dak. Het is ook zo gebouwd dat de zonnecollectoren optimaal staan... veel licht vangen, er zit een warmtewisselaar in de bodem... de ventilatie is heel efficiënt geregeld. Daarom is hier ook zo'n grote vide. Ja, dus het is een modern gebouw, mogen we wel zeggen. Ja. Het is wel helemaal jouw vakgebied, AI. Jij bent eigenlijk academicus. -Ja. En nu heb jij de stap gemaakt naar Deloitte... omdat: AI is zo belangrijk, we moeten nu ook bedrijven helpen... dat op een verantwoorde manier toe te passen. Was dat de reden... dat jij die stap hebt gemaakt? -Ja, deels. Aan de ene kant zie ik dat... Het debat over AI neemt hand over hand toe. Iedereen verwacht er van alles van. En ik vind het belangrijk dat die verwachtingen realistisch blijven... dat we de risico's goed inzien, maar de kansen ook goed inzien. Ik denk dat het heel belangrijk is dat we... Zoals alle technologieën kan deze technologie ook misbruikt worden... kan tot misstanden leiden. Dus ik speel daar graag een rol in om te kijken of we... Kunnen rondkomen? -Dat in goede banen kunnen... Er moet ook geld verdiend worden. Dat is wel waar. Of we dat in goede banen kunnen leiden. En ik denk dat je dat in een rol als... waar je dat direct bij de bedrijven neerzet, dat je daar... meer impact mee kan maken dan als onderzoeker. Want als onderzoeker ben je natuurlijk, als 't goed is, met hele nuttige dingen bezig... maar heel specifiek, op een klein terreintje. En mijn onderzoek... echt over dingen die best nog wel een tijd weg zijn... voordat we daar wat mee kunnen, dus de directe impact daarvan vond ik wat minder. Afgelopen tijd zijn er veel boeken verschenen van mensen die waarschuwen... voor de schaduwzijde van big data of computerbesluiten. Cathy O'Neil, Weapons of Math Destruction, is een mooie titel... of Sara Wachter-Boettcher met Technically Wrong. Het lijkt wel alsof er een soort angst is ontstaan voor algoritmen of voor AI. Heb jij dat ook gemerkt? -Ja, ik heb... Natuurlijk heb ik die boeken ook voorbij zien komen. Ik heb er zelfs wat gelezen. En... Ze hebben een punt. We automatiseren allerlei beslissingen... en die algoritmes die we daarvoor gebruiken... die hebben geen boerenverstand. Die hebben geen idee... van de context waar ze in werken, van de impact van de beslissingen die ze nemen. Die tellen een aantal dingen bij elkaar op en zeggen dan bij wijze van spreken... nou, 35, dus dit is geen goede lening. Of waar ze dan ook voor gebruikt worden. En dat is... Ik moet altijd denken aan iets wat mijn moeder me altijd zei. Mijn moeder zei altijd: als je werknemers zoekt... dan wil je slimme mensen, ijverige mensen. Je wil geen luie mensen, je wil geen domme mensen... maar het allerergste is een dom iemand die ijverig is. Ja. -En dat is een beetje wat we maken. Zo'n... noem eens wat, een neuraal netwerk. Dat kan dan één ding heel erg goed, Go spelen of zo. Dat kan dan één ding heel erg goed, maar het snapt niet wat het aan het doen is. Het heeft geen beeld van de context. En als dat ding beslissingen gaat nemen... die echt impact hebben op je leven, die gaan over... Een voorbeeld in Amerika, waar mensen wel of niet op borg vrij kunnen komen. Dan moet je die context wel hebben, vind ik. Dus dat vind ik echt een risico. En ik vind ook dat als je dat soort beslissingen... door een automaat wil laten nemen... dan moet je je er wel echt goed van vergewissen waar dat ding naar kijkt. Welke data gebruikt hij, hoe gebruikt hij die data? En dan heb ik het niet alleen over de betrouwbaarheid... maar je moet je ook realiseren dat de data die je daarvoor gebruikt... Die heb je niet verzameld met het idee van... daar gaan we later machine learning mee doen. Die data is, als het gaat om creditrating bijvoorbeeld... kredietverstrekkingen, wel of niet. Dat is data, die heb je gewoon verzameld omdat je kredieten aan het verstrekken bent. En daar zit dus al een vooroordeel, of een bias, in... van het systeem dat je tot nog toe gebruikt hebt. Dus mensen die nooit een lening krijgen, die... Het model dat jij traint met die data, dat zal die mensen nooit zien. En ik vind het een uitermate onverkwikkelijke ontwikkeling... dat er nu bedrijven AI gebruiken om bijvoorbeeld te kijken... wat de high potentials zijn in hun personeel. Dus welk personeel wel of niet directeur, partner, weet ik veel wat, mag worden. Wat is daar mis mee? -Nou, het probleem daarbij is... Dan moet je gaan trainen. Je moet voorbeelden hebben. Nou, wie zijn die voorbeelden? Laten we de partners van nu nemen. Dat is, voor de diversiteit natuurlijk... De systemen, de dingen die we hebben, daar zitten vooroordelen in. En die vooroordelen, die institutionaliseer je... door op die manier die data te gebruiken. Je steelt ze? -Ja. En het is natuurlijk ook een kans, in zekere zin... want als je de moeite neemt om zo'n model echt te analyseren... dan kan je dat soort biases vinden. En dan kan je zien van, hé, eigenlijk zouden we dat of dat anders willen. Dus het is ook een kans, zoals heel veel bedreigingen vaak ook een kans zijn. Maar het is wel iets waar je je bewust van moet zijn. Ik vind het mooi hoe je dat zegt. Jij zegt: die systemen, die algoritmen... die zijn dom en ijverig. Maar uiteindelijk... ligt de verantwoordelijkheid niet bij die systemen. Die ligt bij de mensen. -Ja. Absoluut. En die moeten wel een beetje slim en niet lui zijn. Ja, dus ik vind dat als je zo'n model inzet... dan moet je niet zeggen: het is een black box, ik kan er niks mee. Nee, er zijn tools om dat in elk geval een beetje te begrijpen. En afhankelijk van hoe ingewikkeld de verbanden zijn die zo'n model gebruikt... kan het steeds moeilijker worden om dat nog te snappen... maar je kan een heel eind komen. En je moet je er ook van bewust zijn dat als je zo'n methode gebruikt... dat als er allerlei verbanden zijn tussen variabelen... die jouw uitleg niet kan bevatten, dat je dan ook maar een gedeeltelijk begrip hebt... van het model dat je gemaakt hebt. En dat is... Het is nog erger om te denken dat je iets begrijpt, terwijl je het niet begrijpt. Dus je moet je daar bewust van zijn, maar je moet je er zeker bewust van zijn... dat je die analyses goed moet doen. En wat je zegt, is helemaal waar. Dat moeten mensen zijn. Iemand met een ethisch kompas, met begrip van wat er verder allemaal omheen zit. Die moet zo'n model analyseren. En dat betekent niet dat je elke beslissing moet willen nagaan. Dat hoeft helemaal niet. Maar je moet wel weten op basis waarvan het is. Dat gezegd hebbende, als er een beslissing is genomen... Als je bijvoorbeeld besluit om iemand geen lening te geven... dan zou ik wel willen weten waarom je dat besluit. Dan moet je weer dat model en de beslissing kunnen analyseren. Je moet ook kunnen uitleggen van: als je nou minder geld vraagt... dan krijg je de lening wel. Of als je iets meer zou verdienen, of... Nu zijn er een hoop modellen die al in de praktijk worden gebruikt. Nu zeggen mensen: we moeten er wel voor zorgen dat die modellen accountable zijn. Wat wordt daarmee bedoeld? -Een aantal dingen. Ten eerste is het belangrijk dat je kan uitleggen op basis waarvan... je een bepaalde beslissing neemt. Dat betekent ook dat je... je ervan vergewist dat die data eerlijk is... en je moet je er ook van vergewissen, en een hoop bedrijven zijn nog niet zover... dat de manier waarop je dat model inzet, ook klopt. En het heeft ook te maken met of je de data voor het juiste... Of de data een goed beeld geeft... van het proces waarin zo'n model wordt ingezet. Dat betekent dat je je er echt van moet vergewissen... dat je dat model op de juiste manier gebruikt. Als je zegt: ik heb een model... dat bepaalt of... dat bijvoorbeeld bepaalt of sommige mensen... wat meer in de gaten gehouden worden. In Roermond, met die camera's, is dat gaande. Nu zijn dat regels die door mensen bedacht zijn, voor zover ik begrijp. Maar op een gegeven moment is er vast iemand die zegt: dat gaan we met AI doen. Dan moet je je ervan vergewissen dat de data die je gebruikt... Dat al die vooroordelen die daar ongetwijfeld in zitten... verdisconteerd worden, dat op het moment dat je onderzoek gaat doen naar iemand... Stel dat AI beslist: ik ga onderzoeken of deze meneer of mevrouw... belasting ontduikt, of hasj handelt, maakt niet uit wat. Je mag niet zomaar iemand gaan onderzoeken. Daar moet je een reden voor hebben. -Ja. Op het moment dat AI, of technologie in het algemeen, gaat beslissen... dit individu gaan we onderzoeken, dan moet je ook wel uitleggen waarom. Dus dan moet je rekenschap geven van: waarom denk ik dat. En er is nu nog geen enkele regelgeving over waarom AI... of onder welke omstandigheden je daarop zou mogen varen. Misschien is het daar ook eens tijd voor. Ik denk in elk geval dat als je dat soort dingen gaat doen... je dan moreel verplicht bent om daar onderzoek naar te doen, ja. Nu hoor je vaak voorbeelden uit Amerika. Ken jij toevallig een case in Nederland waar ook een voorkeur aan zat... die onverklaarbaar was? -Ja. Er zijn... Ik heb lang geleden al een model gemaakt voor een verzekeraar... over motorrijtuigenverzekeringen... en dan ging het om het voorspellen van het schadebedrag. Als er een claim zou komen, hoe hoog zou die dan zijn. Dan vonden we allerlei logische verbanden, maar één verband dat we zagen... is dat rode auto's een veel hogere kans op schade hadden... of een gemiddeld hoger schadebedrag. En we weten niet waarom. -Nee. Sterker nog: je zou kunnen denken... rode auto's vallen meer op, dus die hebben misschien wel minder schade. Maar de data wees dat uit, en we weten echt niet waarom. En het kan zijn dat dus iemand een keer... een hele dure rode auto total loss heeft gereden... en dat daarmee die hele dataset scheefgetrokken wordt. Omdat dan het gemiddelde schadebedrag voor rode auto's ineens heel hoog is. Het kan ook zijn dat rode auto's echt gevaarlijker zijn. Ik heb geen idee. Maar stel je nu voor, 2018. De verzekeraar krijgt die resultaten onder ogen. Heeft hij dan het recht om te zeggen: mensen met een rode auto... moeten iets meer premie betalen dan de rest? Want de data zegt het. Ja, dat vind ik een goede vraag. Je krijgt er een probleem mee. Los van of je het recht hebt, maar je krijgt er een probleem mee, want... Ik denk niet, als het al zo is, dat het komt door de rode auto. Ik denk toch dat je dat moet zoeken in de bestuurder. Ja, dat lijkt me ook, ja. Dus als ik een rode auto heb en ik laat hem zwart spuiten... ben ik niet ineens een veiligere chauffeur geworden, of zo. Dus ik denk dat je dat soort dingen, als je niet begrijpt... Dat is het verschil tussen correlatie en causaliteit. Als je dus niet begrijpt wat de oorzaak is... dan loop je het risico dat je dit soort dingen gaat doen. Net zoals... Er zijn talloze voorbeelden van dit soort dingen, waar dan wel een correlatie is... maar geen oorzakelijk verband. -Nee. En in dit soort gevallen... kan je door te gaan sturen op dingen... die wel gecorreleerd zijn, maar geen oorzaak zijn... kan je allerlei gedrag, hoe zeg je dat... allerlei gedrag promoten, aanprijzen, dat misschien helemaal niet relevant is. Dankjewel voor je tijd, Evert. -Graag gedaan..