AR
ну и кстати если CONCURRENT_REQUESTS_PER_* остались дефолтные, то ничего и не должно поменяться :)) дока-то про разные сайты
Size: a a a
2020 February 19
AB
это да
Y
а в возможности сайта?
ссылки с одного сайта или с 100500 сайтов?
так то, то что я видел сам, скорость от 75 до 4000 запросов в минуту. Причем, нижняя граница это точно не цпу....
ссылки с одного сайта или с 100500 сайтов?
так то, то что я видел сам, скорость от 75 до 4000 запросов в минуту. Причем, нижняя граница это точно не цпу....
6000тыщ в минуту на бесплатных прокси
МС
Yurii
6000тыщ в минуту на бесплатных прокси
Ну, это не противоречит моему утверждению😁
Y
Ну то гугл был, думаю можно гораздо больше
VB
А можно как-то узнать сколько айтемов спарсил айтем лоадер до его возвращения из функции parse?
AR
Один
AR
Или имеется в виду что-то другое
VB
Я хочу логировать только 1 критерий: удалось или не удалось спарсить
VB
Я попробовал отключить все логеры кроме scrapy.extensions.logstats но пока у меня не получается
AR
Непонятно всё равно
МС
Я хочу логировать только 1 критерий: удалось или не удалось спарсить
тебе надо понять со всех страниц ты вытащил инфу или нет?
VB
тебе надо понять со всех страниц ты вытащил инфу или нет?
Да
VB
Посути спарсилась ли страница
МС
добавь счетчик "количество страниц для парсинга".
туда считаешь те ссылки, с которых должен получить инфу.
вот и все, в конце выведешь инфу и поймешь, все обработал или нет
в принципе, можешь оформить как стандартные счетчики запросов/айтемов. Через logstat или как оно там называется
туда считаешь те ссылки, с которых должен получить инфу.
вот и все, в конце выведешь инфу и поймешь, все обработал или нет
в принципе, можешь оформить как стандартные счетчики запросов/айтемов. Через logstat или как оно там называется
МС
ты же паука можешь счетчиками как новогоднюю елку укарасить :)
VB
Та хотелось бы не счётчики а именно лог
МС
блин, я же про это и сказал
VB
что-бы было удобней отслеживать
МС
ща, 2 мин