Y
Size: a a a
2019 July 01
Y
Думаю разница небольшая от bs4
МС
Кто подскажет, если я в пауке пишу в файл - блокировка нужна, не может ли быть затирание данных?
пайп и метода парса однопоточный
АН
А от чего content-length считать нужно? Кажется это одно из двух полей, которое я не даю сайту а он не дает мне файл (мразота такая)
МС
А если нужен многопоток?
не, ты не понял. По сути
1. запросы идут асинхрон, в многопотоке
2. обработка - в одном
логика такая, что самое долгое - получить данные с сайта, а обработать и записать - это быстро
1. запросы идут асинхрон, в многопотоке
2. обработка - в одном
логика такая, что самое долгое - получить данные с сайта, а обработать и записать - это быстро
МС
по крайне мере мне так объясняли
МС
А от чего content-length считать нужно? Кажется это одно из двух полей, которое я не даю сайту а он не дает мне файл (мразота такая)
нахрена считать?
АН
нахрена считать?
Он считает сам?
МС
Yep
АН
Тогда блиа, вот что еще этой мразоте надо
N
не, ты не понял. По сути
1. запросы идут асинхрон, в многопотоке
2. обработка - в одном
логика такая, что самое долгое - получить данные с сайта, а обработать и записать - это быстро
1. запросы идут асинхрон, в многопотоке
2. обработка - в одном
логика такая, что самое долгое - получить данные с сайта, а обработать и записать - это быстро
А... Тогда норм. Спасибо. Я чет думал что и паук сам асинхроно весь, а если только запросы то вообще гуд
МС
А... Тогда норм. Спасибо. Я чет думал что и паук сам асинхроно весь, а если только запросы то вообще гуд
вот у меня вопрос как пайп с классом парсера синхронизируется.....
МС
но этого я сам пока не знаю
АП
Кто подскажет, если я в пауке пишу в файл - блокировка нужна, не может ли быть затирание данных?
Не пиши в файл.
АП
А если нужен многопоток?
Зачем?
АП
А от чего content-length считать нужно? Кажется это одно из двух полей, которое я не даю сайту а он не дает мне файл (мразота такая)
От длины контента.