Все уже почти готово..
Вчера наконец начали получать наши снимки из инфекционной больницы. А это значит что мы можем протестировать нашу модель!
Расскажу немножко о том, как шла работа.
Модель была обучена на сборном датасете в который вошли снимки предоставленные университетскими клиниками разных стран, а также снимки, собранные нами из открытых источников. При этом, необходимо отметить важную деталь - модель обученная на снимках только из открытых источников имеет показатель ROC AUC порядка 92%-94% (что по всем требованиям является удовлетворительной точностью).
ROC AUC нашей модели близок к 100% (см. прилагаемый график).
Идею создать модель для помощи врачам предложил Ренат Алимбеков примерно две недели назад. За это время мы в срочном порядке мы выпросили необходимое количество снимков у знакомых врачей из разных стран и организаций (казахстанские снимки были недоступны на тот момент).
Параллельно мы работали над созданием самой модели: выбирали и тестировали архитектуры, подбирали метрики, писали код, отлаживали, не спали ночами.
Получив результат близкий к 100% мы вначале не поверил, и даже расстроился. Подумал, что напутал что-то или где-то произошла утечка в данных (data leak).
Снова длительные обсуждения, снова бесчисленные проверки... Которые позволили убедиться, что модель действительно показывает отличные результаты!
Прилагаем график ROC-AUC, визуализацию предсказаний модели и истинных диагнозов на отложенной выборке.
Отдельного внимания заслуживают результаты модели на снимках, поступающих в наш PACS в инцфекционной больнице города Алматы. 8 из 10 кейсов модель точно определила COVID-19
