Как и многие другие отрасли, здравоохранение выиграло от растущего использования искусственного интеллекта, но иногда это происходило за счет пациентов из числа меньшинств.
На самом деле, искусственный интеллект в здравоохранении может усиливать и усугублять неравенство (расовое/этническое и др.), поскольку источники данных, на которых «обучают» искусственный интеллект, не являются репрезентативными и/или основаны на данных о текущем неравном медицинском обслуживании, говорит профессор права Мичиганского университета Николсон Прайс, который также является членом Института политики и инноваций в здравоохранении при Мичиганском университете.
В недавней статье в журнале Science Прайс и его коллеги Ана Брачич из Мичиганского государственного университета и Шонекуа Каллиер из Университета Джорджа Вашингтона утверждают, что такое неравенство имеет место, несмотря на усилия, предпринимаемые в медицине врачами и системами здравоохранения, пробующими стратегии, направленные на привлечение разнообразного персонала или обучение неявному предубеждению.
Что является примером культуры, направленной против меньшинств?
Существует удручающе много примеров культур, которые включают глубоко укоренившиеся предубеждения против миноритизированных групп населения (то есть групп, которые доминирующая группа относит к меньшинствам). В статье мы фокусируемся на чернокожих пациентах в медицине (которых стереотипно считают менее чувствительными к боли, среди множества других пагубных взглядов), но мы с таким же успехом могли бы сфокусироваться на коренных американцах, трансгендерных пациентах, пациентах с определенными видами инвалидности или даже женщинах в целом (которые, даже будучи численным большинством, часто остаются миноритизированными).
Значит, это влияет на участие в исследованиях/набор и ИИ, например, чернокожие участники отказываются от участия?
Именно. Мы начинаем статью с описания моделей клинического обслуживания, которые включают в себя самоусиливающиеся циклы исключения, но затем делаем шаг назад, чтобы показать, как эта динамика также имеет место при привлечении пациентов для работы с большими данными и затем ИИ. История участия в исследованиях фактически во многом опирается на более раннее исследование (которое) показало различные показатели согласия на участие в исследованиях больших данных (в рамках Мичиганской геномной инициативы) для представителей различных групп меньшинств.
В данном проекте мы основываемся на этой работе (и другой работе по участию в исследованиях Шонекуа Каллиер, третьего соавтора этой статьи), чтобы показать циклическую динамику, когда предвзятость приводит к неадекватному набору пациентов, что приводит к снижению вовлеченности, что приводит к восприятию пациентов из меньшинств как менее заинтересованных в исследованиях, и повторяющийся, усиливающийся цикл. И такая же картина наблюдается в медицинском ИИ.
Опишите взаимодействие ИИ и антиминоритарной культуры/дискриминации.
ИИ не является разумным, он не может «думать меньше» о представителях меньшинств. Но системы ИИ обучаются на данных, которые отражают многие десятилетия укоренившихся предубеждений в клинической медицине, а также обучаются на недостаточно репрезентативных наборах данных (по только что описанным причинам). Это означает, что системы ИИ «учатся» на предвзятых данных, и шаблоны, которые они изучают и которые они затем используют для прогнозирования, классификации и рекомендаций, являются предвзятыми, поэтому их результаты, скорее всего, также будут предвзятыми и дискриминационными. А когда пациенты сопротивляются или плохо реагируют на плохие рекомендации, системы ИИ учатся и на этих новых данных, и цикл повторяется снова.
Каковы политические последствия этого исследования?
В принципе, есть три основных вывода. Во-первых, исключение может быть самоподкрепляющимся, будь то в медицинской практике, сборе исследовательских данных или медицинском ИИ. Надежды на то, что эти процессы со временем улучшатся (особенно это касается ИИ), поскольку они просто узнают больше, скорее всего, будут бесплодными, если эти надежды не будут сопровождаться целенаправленным изучением и усилиями.
Во-вторых, эти различные циклы исключения не только самоподкрепляются, но и могут усиливать друг друга. Системы искусственного интеллекта учатся на предвзятом уходе, а предвзятые рекомендации искусственного интеллекта могут привести к еще более предвзятому уходу. Абсолютно беспристрастный врач, работающий с ИИ, обученным на необъективных данных, скорее всего, будет принимать необъективные решения.
Третье, связанное с этим: Попытка решить эти проблемы на политическом уровне потребует понимания и учета этих взаимосвязанных и усиливающих динамик. Пытаться исправить только один кусочек предвзятости в системе — это все равно, что пытаться вылечить системную инфекцию, сосредоточившись на одном органе: она просто будет повторно заражена другими частями системы.
Как можно определить предвзятость на основе любого набора данных или ИИ? Кто возьмет на себя инициативу по изменению того, что происходит с алгоритмами?
Это сложный вопрос. Мы считаем, что многопрофильные, разнообразные команды — это то, что нужно, но далеко не ясно, кто это может быть и как они могут эффективно внедрять изменения. Было бы хорошо, если бы у нас было действительно четкое и простое решение, но на самом деле мы видим свою роль в том, чтобы указать на сложность и динамику проблемы, надеюсь, пока она еще достаточно ранняя, чтобы решать ее более эффективно.
На самом деле, ИИ в здравоохранении может усилить и усугубить неравенство (расовое/этническое и др.), поскольку источники данных, которые «обучают» ИИ, не являются репрезентативными и/или основаны на данных о текущем неравном медицинском обслуживании, утверждает Университет Мичигана.
Немного на этих днях про платье расклешенное к низу много интересного почитал, на мой взгляд это интересно и очень важно. Очень полезная информация.