Automatiska beslutssystem hotar demokratin och ökar ojämlikheten
1 juni 2017 | Ingen har kommenterat än
Borta på inUse-bloggen har jag en text om Cathy O’Neils bok Weapons of Math Destruction:
”Ett typiskt fel med många algoritmer, framhåller O’Neil, är att de saknar vettiga feedback-mekanismer. En algoritm för att bedöma cv:n har ingen möjlighet att ta reda på om en sökande som rensats bort sedan blir en stjärna på nästa jobb som hon faktiskt landar. Algoritmen uppdateras inte och kommer att fortsätta att skapa missledande rekommendationer.
Ett ännu värre fel är att många algoritmer skapar egna feedback-loopar, som typiskt missgynnar minoritetsgrupper: svarta, fattiga, kvinnor. Algoritmerna blir självuppfyllande: om algoritmen säger att du riskerar att återfalla i brott, döms du till fängelse, vilket är en av de tyngsta faktorerna bakom att återfalla i brott.
”Being poor in a world of WMDs is getting more and more dangerous and more and more expensive”. Men ”[it] also hammers the middle class.”
Vad kan vi göra? Utvecklingen medför konsekvenser som ”all to often passes for inevitability”, säger O’Neil. Men det kommer att krävas kamp.
Algoritmerna har blivit samhällsfarliga (11 maj 2017)
Kommentarer
Kommentera