A
по 2 метра дикомы
Прикольно. Скажи потом в чем проблема была
Size: a a a
2020 July 23
RA
всем так говорят, а потом они не пишут( Возможно никто так и не решил проблем)
MK
я реально поделюсь, если решу проблему
MK
но пока решения нет, даже с pin_memory и num_workers
RA
а если батч сайз при этот уменьшить?)
A
Ничего себе. 3D frontend
Z
такая проблема: есть датасет мед картинок, задача - простая классификация, машина - 4х2080. Запускаю простой effnet-b1 показывает через tqdm, что эпоху будет 20 часов тренить. Объем датасета примерно 50к картинок в дикоме. Комп уже ребутить пытался, все процессы отключал, код распараллелил, все равно 20 часов на эпоху. Может ли формат дикома быть причиной или что то еще?
У меня такая была проблема, когда сложные аугментации через cv2 пытался сделать.
A
MK
Короче, пацаны, я немного починил, дело было в дикомах или в pydicom. Не суть, просто как только заменил дикомы на жпеги, то на эпохуй теперь тратится 30 мин, но при этом утилизация гпу по прежнему 0
Y
Короче, пацаны, я немного починил, дело было в дикомах или в pydicom. Не суть, просто как только заменил дикомы на жпеги, то на эпохуй теперь тратится 30 мин, но при этом утилизация гпу по прежнему 0
Number of workers = multiprocessing cpu count //4 попробуй
MK
Number of workers = multiprocessing cpu count //4 попробуй
все равно, гг
Y
Через opencv читаешь?
MK
Через opencv читаешь?
pil
Y
Ну 30 мин терпимо:)
MK
Number of workers = multiprocessing cpu count //4 попробуй
это сколько поставить?
Y
multiprocessing.cpu_count сколько?
MK
multiprocessing.cpu_count сколько?
32
Y
num_workers = 4 попробуй, но возможно ботлнек не там
Y
и подожди целую эпоху, вдруг tqdm неправильно в начале считает, такое тоже бывает