Обнаружен непреодолимый риск использования ИИ в медицине.
Обладающий недоступным для людей знанием ИИ потенциально опасен.Посмотрите на рисунок с примерами различных медицинский изображений.
Сможете по ним определить расовую принадлежность пациента?
Увы, но даже самый опытный рентгенолог на Земле не в состоянии это сделать. А ИИ делает это запросто.
Из этого, казалось бы, не страшного факта (ведь никто не заморачивается от того, что ИИ, например, лучше людей играет в шахматы) можно прийти к выводу о серьезной опасности использования ИИ в задачах медицинской визуализации.
Логика здесь такова.
1) Распознавание медицинских изображений при принятии диагностических и лечебных решений – это одна из самых массовых и перспективных областей прикладного использования систем машинного обучения (далее ИИ).
2) Попытки использования ИИ для принятия решений в широком спектре применений, основанных на суждениях о людях (напр., социальные, кадровые, финансовые, полицейские системы оценки людей), столкнулись с серьезной проблемой расовой предвзятости ИИ, обусловленной данными, на которых эти ИИ учили.
3) В контексте 1 и 2, новое авторитетное совместное исследование 15 медицинских центров США, Канады, Австралии и Тайваня вызывает шок и потрясение.
Его выводы таковы:
– ИИ запросто учится распознавать расовую принадлежность пациентов практически по любым медицинским изображениям, и это прямой путь для воспроизведения или усугубления расовой дискриминации в медицинской практике;
– эксперты - люди не понимают, как ИИ это делают, ибо просто физически не видят на изображениях каких-либо маркеров национальной принадлежности; из чего следует, что человеческий надзор за такими ИИ для распознавания и смягчения данной проблемы имеет (мягко говоря) ограниченное применение, а по сути – человеческий надзор здесь невозможен;
– это создает огромный риск для развертываний практически всех (!) моделей ИИ в области медицинской визуализации: если ИИ «тайно» полагался на свою способность определять расовую принадлежность для принятия медицинских решений, но при этом некорректно (предвзято) провел классификацию (например, чернокожих пациентов), клинические рентгенологи (которые, как правило, не имеют доступа к расовой демографической информации) не смогут это увидеть и исправить.
Результаты данного исследования в общем контексте прикладного использования ИИ для принятия решений звучат почти как приговор:
Любой ИИ, обладающий недоступным для людей знанием, потенциально чрезвычайно опасен и потому не должен использоваться при принятии ответственных решений.Но ведь именно в таких, недоступных нам знаниях и заключается наивысшая ценность ИИ. В противном случае, ИИ превратится просто в «интеллектуальный экскаватор», облегчающий людям процесс «интеллектуального копания» в проблемах при принятии решений.
И по этой причине, обнаруженным риском, скорее всего, пренебрегут, забив на непредсказуемые последствия.
https://arxiv.org/abs/2107.10356 #ИИ #МашинноеОбучение #ГлобальныеРиски
