Największa firma świata Amazon wpadła w niemały kłopot. Algorytmy i komputery miały pomagać w przyjmowaniu nowych pracowników w oparciu o obiektywne kryteria, bez oglądania się np na płeć czy rasę. Tymczasem okazały się one jeszcze bardziej „uprzedzone” w stosunku do kobiet niż zwykły pracownik kadr.
Amerykańskie firmy mają obsesję na punkcie równouprawnienia, polityki różnorodności i uprzedzeń płciowych, czy rasowych. Dotyczy to zwłaszcza gigantów internetowych, którzy mają nawet departamenty do pilnowania politycznej poprawności, na czele którego najczęściej stoi kobieta w randze wiceprezesa firmy.
Amazon by wyeliminować wszelkie uprzedzenia jakim mogą ulegać ludzie postanowił, że rekrutacji będą dokonywać komputery. Napisane algorytmy miały sprawić, że zachowane zostaną zasady różnorodności – a więc tylu i tylu murzynów, tylu, Latynosów i preferować kobiety w rekrutowaniu i promowaniu na wyższe stanowiska.
Jak się okazało wyszło dokładnie odwrotnie. Komputery wybierały mężczyzn i to białych, bądź Azjatów. Jak pisze Cathy O’Neil dla agencji Bloomberg, której firma sama zajmuje się tworzeniem takich programów i „audytowaniem” politycznej poprawności, to nie jest tylko problem Amazona, ale wielu amerykańskich firm.
Komputery wyodrębniają „obiektywne kryteria”. Analizują też dane z przeszłości i na ich podstawie przewidują co jest potrzebne w przyszłości. Jaki zespół cech, jakie zachowania. Analiza może odbywać się nawet na podstawie zwrotów użytych w podaniu o pracę. Paradoksalnie więc tam gdzie dominują mężczyźni, a komputer miałby tę dominację w procesie rekrutacji eliminować, jest ona wzmacniana.
W przypadku Amazona okazało się, że ktoś kto kończył żeńską uczelnię niemal automatycznie był eliminowany. Programy preferowały natomiast tych, którzy używali typowo „męskich zwrotów” jak „wykonać”, „zadanie” „lider”. Okazuje się, że wiele z pozoru nieistotnych informacji da się przyporządkować określonej płci, czy rasie. I własnie te informacje są wykorzystywane też w procesie rekrutacji wzmacniając „męski” punkt widzenia.
Podobne algorytmy mające eliminować uprzedzenia są stosowane przy np. ubezpieczeniach, decyzjach o przyznaniu kredytu, reklamowaniu produktów.
Problem staje się dla amerykańskich firm coraz poważniejszy, bo odszkodowania za dyskryminacje w miejscu pracy idą w miliony dolarów. Stąd też chęć powierzania niektórych decyzji wolnym od oprzędzeń, bezdusznym maszynom. Tymczasem efekt ich wyborów może być z punktu widzenia politycznej poprawności jeszcze gorszy niż uprzedzonego i ograniczonego kadrowca.
