Алгоритм Apple надавав менші кредитні ліміти для жінок
Алгоритм Apple Card і під час вибору кредитних лімітів для клієнтів надав умови позики для жінок гірші, ніж для чоловіків.
На ситуацію звернуло увагу видання Bloomberg.
Про дискримінацію в роботі алгоритму першим повідомив програміст Давид Ганссон. У своєму твітері він написав про те, що його дружині програма надавала нижчий рейтинг, ніж йому. У якийсь момент до обговорення долучився співзасновник Apple Стів Возняк, який розповів, що виявив схожу проблему: його дружина за кращої кредитної історії отримала в Apple Card умови кредиту гірші, ніж у нього.
The @AppleCard is such a fucking sexist program. My wife and I filed joint tax returns, live in a community-property state, and have been married for a long time. Yet Apple’s black box algorithm thinks I deserve 20x the credit limit she does. No appeals work.
— DHH (@dhh) November 7, 2019
На обговорення Возняка та Ганссона звернув увагу департамент фінансових послуг Нью-Йорка. Регулятор оголосив про перевірку банку Goldman Sachs, який виступив партнером Apple Card. Алгоритм, за даними департаменту, дискримінує жінок та порушує закони штату Нью-Йорк.
Зі свого боку Goldman Sachs відкинув можливість дискримінації під час ухвалення рішень про кредити. Однак, за словами Ганссона, після його постів у твітері банк раптово збільшив кредитний ліміт для його дружини, не запитавши про жодні документи.
Нагадаємо, що минулого року трансґендерна жінка в Берліні провела експеримент і виявила дискримінацію, коли надсилала резюме на посаду дизайнера від імені чоловіка і від імені жінки. Так, на співбесіді роботодавець запропонував їй як чоловіку річну зарплату вищу, ніж ту, яку запропонував їй як жінці.
