ДС
Size: a a a
2020 June 19
IV
Хм
IV
Ты его бустил?
ДС
Сохранение ареев в пикл ускорило в два раза итерацию по датасету. До 20 минут.
С мультипроцессингом в пайторчовом даталоадере помогло pin_memory=False, затыки бывают, но на секунду или около того. В целом норм. Но это с пиклом. При загрузке файлов чистым нампаем все равно долгие случаются.
С мультипроцессингом в пайторчовом даталоадере помогло pin_memory=False, затыки бывают, но на секунду или около того. В целом норм. Но это с пиклом. При загрузке файлов чистым нампаем все равно долгие случаются.
ДС
Ivan Veriga
Ты его бустил?
Неа.
IV
Тупой вопрос, а как быстро в цикле можно считывать с диска нампай ареи? (или во что их сохранять). Файлы - многомерные тензоры, примерно от 20 до 100мб.
Сохранение и загрузка через .npy - быстрая. Но если помимо считывания добавить хоть одну операцию, например, поделить на 1, то скорость сразу замедляется. Как здесь https://stackoverflow.com/questions/9619199/best-way-to-preserve-numpy-arrays-on-disk.
Проход по всем файлам начинает занимать с 10 секунд - 40 минут. Какие есть варианты?
h5py считывает как нампай + операция. Менять параметры mmap нампая при загрузке ни на что не влияет.
Сохранение и загрузка через .npy - быстрая. Но если помимо считывания добавить хоть одну операцию, например, поделить на 1, то скорость сразу замедляется. Как здесь https://stackoverflow.com/questions/9619199/best-way-to-preserve-numpy-arrays-on-disk.
Проход по всем файлам начинает занимать с 10 секунд - 40 минут. Какие есть варианты?
h5py считывает как нампай + операция. Менять параметры mmap нампая при загрузке ни на что не влияет.
По поводу этого, там проход по файлу хитрый, при добавлении операции там итерация происходит по каждой строке, поэтому так долго
ДС
Ivan Veriga
По поводу этого, там проход по файлу хитрый, при добавлении операции там итерация происходит по каждой строке, поэтому так долго
Просто у меня точно такая же схема. Если сделать просто загрузку в цикле. То 10 секунд. Если загрузка / 1, то уже 40 минут.
ДС
С пиклом 20 минут)
IV
Ну смотри, чтение/запись просто - это один набор инструкций, а ты к этому для процессора ещё набор добавляешь, при чём существенный
IV
Не забывай, процессор не умеет нормально вычитать
IV
А если там ещё и вещественные числа, то ещё больше инструкций
IV
Так что вроде бы обычное действие может нормально нагрузить
IV
Либо это затык либы
IV
Раз с пиклом 20
ДС
Но вот почему нампай свои нативные файлы долго считывает. Если они большие относительно. 4 измерения с 60 элементов в каждом.
IV
Np опен-сорсный, можно попробовать поправить)
ДС
Куда уж
IV
Чтоб для всех прям😂
IV
Ну мало ли, может ты какую-то крутую фичу придумаешь, свежим взглядом