АЗ
Ну давайте простейшую мотивацию для метода крамера хотя бы вспомним
Size: a a a
2021 June 19
RG
О дороу
АЗ
Дратути
I
во многих гайдах по загрузке кастомного датасета в торч вижу, что непосредственно с диска картинка читается в getitem
по логике ведь это же очень сильно будет тормозить процесс обучения, или тут есть какой-то неочевидный скрытый смысл? логичнее же все сразу запихнуть в память в init, а в getitem просто возвращать элемент листа
по логике ведь это же очень сильно будет тормозить процесс обучения, или тут есть какой-то неочевидный скрытый смысл? логичнее же все сразу запихнуть в память в init, а в getitem просто возвращать элемент листа
DP
допустим, датасет весит 200 гб. А оперативки у вас 100гб. Тогда ваш подход в лучшем случае замедлит всю работу в разы, в худшем - просто упадет.
DP
Тормоза же подхода с подгрузкой частично убиваются тем, что можно больше worker поставить
I
В таком случае я бы просто разбил датасет на n кусков и по очереди бы их целиком грузил в память
I
Ну хотя если датасет даже после трансформаций не влазит в память, то по идее разницы по времени нет
DP
? в одном случае вам в памяти надо хранить условно два батча - один, который сейчас через нейросетку несется, а второй - который готовится быть подгруженным. В другом - кучу данных
I
Да, но просто если данные уже лежат в оперативке, то после очередной эпохи не надо будет ждать, пока они прочитаются
I
Или ты имеешь в виду, что можно следующий батч грузить, пока очередной проходит через сетку?
DP
I
А оно по дефолту так реализовано в торче?
I
Что условно пока гпу занято просчетом текущего батча, процессор занят подгрузкой следующего
♠
♠
2021 June 20
BI
Всем привет! У меня есть пдф файл с таблицей. Я написал скрипт который парсит(camelot) его колонку(выше пример). Но один документ не получается спарсить, выходит вот такая вот ерунда:
BI
BI
Может быть, кто то уже сталкивался с такой проблемой?