«Covid-19 можно определить с 97% уверенностью по рентгену легких!»
Это громкое заявление не так давно разошлось по гитхабу в виде популярного репозитория от какого-то чувака, который утверждал, что сделал прорыв в области обнаружения вируса, ну и как обычно оказалось, что это очередное «Змеиное масло» из мира AI.
Не буду вдаваться в глубокие технические детали того, почему заявление в репозитарии бред, о них можно
почитать детально тут, отмечу лишь пару моментов.
За одну неделю: Чувак выложил модель «детекта вируса» на рентгене;
Репозиторий перевели на 8 языков;
Чувак анонсировал разработку WEB-версии и мобильного приложения;
Написал много всего о том, как можно стать спонсором проекта и куда слать деньги и тп.
Что внутри этой нейронки:Нейронная сеть натренирована на... 50 ФОТОГРАФИЯХ. Для тех кто не знает, это примерно на ~79 950 меньше фотографий, чем нужно чтобы начать хоть что-то реалистично узнавать;
Сама нейронка, при этом, базируется на ResNet-50, это популярное решение для детекта различных объектов из реального мира, то есть в скрытых «слоях» этой неройнки находятся обычные геометрические формы и предметы которые сложно встретить в легких, вроде дорожных знаков и вывесок 🌚 То есть он не тренировал что-то с нуля, он «дотренировал» нейронку обученную на предметах. В медицине никто так почти не делают – все нейронки там важно тренировать с нуля (конечно есть исключения).
Ну и самое прикольное: чтобы проверить насколько хорошо твоя нейронка научилась детектить что-то, ты обычно кладешь в папочку набор файлов, на которых можно потестировать как хорошо она определяет объекты. Недопустимо при этом, чтобы эти же файлы находились в папке где идет тренировка нейронки — алгоритм конечно легко узнает то, на чем учился и подгонит все результаты. Так вот, чувак получил 97% точности просто потому что тестил на том, на чем тренировал алгоритм
w(゚Д゚)w
Когда прошел туториал по PyTorch, а все оказалось сложнее.
P.S. Примеров успешных применений ML в медицине – масса, но каждое решение которое выкатывается на публику должно быть проверено сообществом, спасибо reddit в этом примере, что остановили это в зачатке и никто не пострадал.