Не секрет, что у людей есть предубеждения — одни неосознанные, возможно, а другие болезненно явные. Обычный человек может предположить, что компьютеры — машины, обычно сделанные из пластика, стали, стекла, кремния и различных металлов — свободны от предрассудков. В то время как это предположение может быть справедливо для компьютерного оборудования, то же самое не всегда верно для компьютерного программного обеспечения, которое программируется ошибочными людьми и может получать данные, которые сами являются скомпрометированными в некоторых отношениях.
Системы искусственного интеллекта (ИИ) — в частности, основанные на машинном обучении — находят все большее применение в медицине, например, для диагностики конкретных заболеваний или оценки рентгеновских снимков. На эти системы также полагаются для поддержки принятия решений в других областях здравоохранения. Однако недавние исследования показали, что модели машинного обучения могут кодировать предубеждения против подгрупп меньшинств, и рекомендации, которые они дают, могут отражать эти предубеждения.
Новое исследование ученых из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) и Клиники Джамиля Массачусетского технологического института, опубликованное в прошлом месяце в журнале Communications Medicine, оценивает влияние, которое могут оказывать дискриминационные модели ИИ, особенно для систем, предназначенных для предоставления рекомендаций в экстренных ситуациях.
«Мы обнаружили, что то, как сформулирован совет, может иметь значительные последствия», — объясняет ведущий автор статьи Хаммаад Адам, аспирант Института систем данных и общества Массачусетского технологического института. «К счастью, вред, наносимый предвзятыми моделями, можно ограничить (хотя и не обязательно устранить), если представить совет по-другому». Другими соавторами работы являются Апарна Балагопалан и Эмили Алсенцер, обе аспирантки, а также профессора Фотини Кристиа и Марзиех Гассеми.
Модели ИИ, используемые в медицине, могут страдать от неточностей и несоответствий, отчасти потому, что данные, используемые для обучения моделей, часто не являются репрезентативными для реальных условий. Различные виды рентгеновских аппаратов, например, могут по-разному регистрировать происходящее и, следовательно, давать разные результаты. Кроме того, модели, обученные преимущественно на белых людях, могут оказаться не столь точными при применении к другим группам.
Статья Communications Medicine не посвящена подобным вопросам, а рассматривает проблемы, возникающие из-за предвзятости, и способы смягчения негативных последствий.
Группа из 954 человек (438 клиницистов и 516 неспециалистов) приняла участие в эксперименте, чтобы увидеть, как предвзятость ИИ может повлиять на принятие решений. Участникам были представлены сводки звонков с вымышленной кризисной горячей линии, каждый из которых касался мужчины, находящегося в чрезвычайной ситуации, связанной с психическим здоровьем. В резюме содержалась информация о том, является ли человек кавказцем или афроамериканцем, а также упоминалась его религия, если он был мусульманином.
Типичная сводка вызовов могла описывать обстоятельства, при которых афроамериканский мужчина был найден дома в бредовом состоянии, с указанием, что «он не употреблял наркотики или алкоголь, так как является практикующим мусульманином». Участников исследования проинструктировали вызвать полицию, если они думали, что пациент может стать агрессивным; в противном случае им рекомендовали обратиться за медицинской помощью.
Участники были случайным образом разделены на контрольную или «базовую» группу и четыре другие группы, предназначенные для проверки реакции в несколько иных условиях. «Мы хотим понять, как предвзятые модели могут влиять на решения, но сначала нам нужно понять, как человеческие предрассудки могут влиять на процесс принятия решений», — отмечает Адам.
То, что они обнаружили при анализе базовой группы, оказалось довольно удивительным: «В условиях, которые мы рассматривали, человеческие участники не проявляли никаких предубеждений. Это не значит, что люди не предвзяты, но то, как мы передавали информацию о расе и религии человека, очевидно, не было достаточно сильным, чтобы вызвать их предвзятость».
Другим четырем группам в эксперименте давали советы, которые исходили либо от предвзятой, либо от непредвзятой модели, и эти советы были представлены либо в «предписывающей», либо в «описательной» форме. Предвзятая модель с большей вероятностью рекомендовала бы помощь полиции в ситуации с афроамериканцем или мусульманином, чем непредвзятая модель. Участники исследования, однако, не знали, от какой модели исходит их совет, и даже не знали, что модели, дающие советы, могут быть предвзятыми.
Предписывающие советы содержат однозначные формулировки того, что должен сделать участник, в одном случае — позвонить в полицию, в другом — обратиться за медицинской помощью. Описательные советы менее прямолинейны: На экране появляется флаг, показывающий, что система ИИ воспринимает риск насилия, связанный с конкретным звонком; флаг не показывается, если угроза насилия считается незначительной.
Вот ещё на днях про то где можно найти мокрые обои для стен почитал на этих выходных и вы знаете мне эта информация очень помогла. Если и вас интересует подобное, то и вам стоит посмотреть.