MK
какая утилизация GPU во время обучения?
около 3 gb на каждую
Size: a a a
2020 July 23
RA
Чет мало капец
MK
Чет мало капец
вооот
RA
А сайз какой?
MA
MK
сорри я нубас, сейчас напишу
MA
Чет мало капец
+
A
такая проблема: есть датасет мед картинок, задача - простая классификация, машина - 4х2080. Запускаю простой effnet-b1 показывает через tqdm, что эпоху будет 20 часов тренить. Объем датасета примерно 50к картинок в дикоме. Комп уже ребутить пытался, все процессы отключал, код распараллелил, все равно 20 часов на эпоху. Может ли формат дикома быть причиной или что то еще?
На каггле была такая проблема, что дикомы ооочень долго считывались. 3 часа если дикомы и 10 минут если джпеги на эпоху. Но те кто локально запускал было норм, что так что так
RA
На каггле была такая проблема, что дикомы ооочень долго считывались. 3 часа если дикомы и 10 минут если джпеги на эпоху. Но те кто локально запускал было норм, что так что так
В hemmorage было норм с дикомами всё
A
В hemmorage было норм с дикомами всё
Ну извините меня, там кт 512 на 512. Я про кожу говорю. Там снимки большие в оригинальном датасете. Ну не знаю, может поможет может нет. Так на всякий случай сказал.
MK
0
MA
лол что
наверное не успел еще батчи приготовить
MK
наверное не успел еще батчи приготовить
уже 2 итерации прошло
RA
я помню была такая трабла на датапарарелел когда оюучение на батче было быстрее чем загузка батча
RA
@myxik а размер картинок какой? что за тип исследования (КТ, рентген)?
MK
я помню была такая трабла на датапарарелел когда оюучение на батче было быстрее чем загузка батча
только недавно тренил сегментацию на той же машине, все нормас было
MK
@myxik а размер картинок какой? что за тип исследования (КТ, рентген)?
везде по разному по размеру
MA
Я к тому что если утилизация норм (>90% почти постоянно), то все ок. Если нет, то скорее батчи не успевают готовиться и нужно через profiler искать боттелнеки (например, считывание картинок или какие то ауги) и ускорят
RA
ну трансформ ж делаешь