Size: a a a

2020 April 16

М

Мак in Scrapy
Может time. Sleep посреди кода где то забыл))))
источник

i

ildar in Scrapy
Можно профайлер pycharm запустить на кэшированных данных, он даже красивый граф построит какой кусок больше тормозит
источник

VB

Vladyslav Babych in Scrapy
Я полностью убрал любую обработку данных. Но даже при 120 конкурентных запросах я не получаю больше 50 страниц в минуту. Потом я создал новый проект с ноля, где изменил только количество КЗ, и запрос ожидания, метод parse возвращает просто ссылку запроса
источник

VB

Vladyslav Babych in Scrapy
Всё-равно не могу получить больше 50 страниц в минуту
источник

М

Мак in Scrapy
Из кэша?
источник

МС

Михаил Синегубов in Scrapy
Vladyslav Babych
Я полностью убрал любую обработку данных. Но даже при 120 конкурентных запросах я не получаю больше 50 страниц в минуту. Потом я создал новый проект с ноля, где изменил только количество КЗ, и запрос ожидания, метод parse возвращает просто ссылку запроса
поставь 10 одновременных запросов...
и да, это что за сайт такой?
источник

VB

Vladyslav Babych in Scrapy
Михаил Синегубов
поставь 10 одновременных запросов...
и да, это что за сайт такой?
это прокси который возвращает рендеренный сайт
источник

VB

Vladyslav Babych in Scrapy
Михаил Синегубов
поставь 10 одновременных запросов...
и да, это что за сайт такой?
scraperAPI
источник

М

Мак in Scrapy
А напрямую без прокси одну страницу не судьба попробовать?
источник

МС

Михаил Синегубов in Scrapy
Vladyslav Babych
это прокси который возвращает рендеренный сайт
подожди, рендеренный сайт, и твой самопальный скрипт то же через этот сервис работает?
источник

МС

Михаил Синегубов in Scrapy
кстати, у тебя там что, тариф Business ?
источник

VB

Vladyslav Babych in Scrapy
Михаил Синегубов
подожди, рендеренный сайт, и твой самопальный скрипт то же через этот сервис работает?
Да
источник

VB

Vladyslav Babych in Scrapy
Михаил Синегубов
кстати, у тебя там что, тариф Business ?
да
источник

VB

Vladyslav Babych in Scrapy
Мак
А напрямую без прокси одну страницу не судьба попробовать?
Так мне через него нужно)))
источник

М

Мак in Scrapy
Vladyslav Babych
Так мне через него нужно)))
Для определения тормоза
источник

М

Мак in Scrapy
Если в коде всё чисто
источник

VB

Vladyslav Babych in Scrapy
Мак
Для определения тормоза
Я собирал download_latency на 1к запросах в среднем получалось 14-15 секунд ожидания
источник

М

Мак in Scrapy
Хотя кеш уже показывает в принципе...
источник

МС

Михаил Синегубов in Scrapy
Vladyslav Babych
Я собирал download_latency на 1к запросах в среднем получалось 14-15 секунд ожидания
а у самого сервиса какая стата есть? или там у них только количества?
источник

VB

Vladyslav Babych in Scrapy
Михаил Синегубов
а у самого сервиса какая стата есть? или там у них только количества?
А сам сервис говорит что я юзаю максимум 5 потоков
источник