Wat we zien is dat er in een heel rap tempo door   verschillende overheden wereldwijd  automatisering wordt uitgerold. Dat kan soms hele goede dingen brengen,  betere die dienstverlening vanuit de overheid. Maar we zien dat ook een aantal mensenrechten  risico's onvoldoende zijn afgedekt,   bijvoorbeeld discriminatie en risicoprofilering. In Nederland zien we dat ook. In Nederland worden vaak in de risicoprofielen  ethniciteit of nationaliteitsgegevens meegewogen. Dat is discriminatie, en dat  zou verboden moeten worden. Wat je ziet bij bijvoorbeeld de toeslagen-affaire,   is dat er gebruik werd gemaakt van  een risicoclassificatiesysteem. Dat was een black-box systeem. Dus de ambtenaar die een stapel met aanvragen met   een hoge risicoscore op zijn  bureau kreeg wist niet waarom. Dat was onduidelijk. Aan de andere kant wisten de programmeurs van  dit systeem wel dat nationaliteit in de vorm van   ben je Nederlander of ben je geen Nederlander een  rol speelde in dat risico classificatiesysteem. Dat is discriminatie. Wat we nu ook weten, is dat het  risicoclassificatiesysteem een   zelflerend algoritme was, en dat  algoritme had zichzelf geleerd om   steeds meer te gaan inzoomen op  mensen in lagere inkomensklasse. Dus hoe minder geld je te besteden had,  hoe groter de kans dat jij onterecht   werd aangemerkt als fraudeur, hoe groter de kans dat je in   één keer al je toeslagen moest terugbetalen, hoe groter de kans dat jij boetes moest betalen. En dat voor een groep mensen die daar eigenlijk  helemaal geen financiële middelen toe hadden. Dat is ook een vorm van discriminatie en dit soort  vormen van discriminatie moeten worden gestopt. Dus wat de Nederlandse overheid nu  moet doen is zich duidelijk uitspreken. Zich duidelijk uitspreken voor verbod van  het gebruik van etniciteit en nationaliteit   in risicoprofilering als de overheid op  zoek gaat naar potentiële norm-overtreders,   bijvoorbeeld fraudeurs of criminelen..