М
Size: a a a
2020 April 16
VB
Я полностью убрал любую обработку данных. Но даже при 120 конкурентных запросах я не получаю больше 50 страниц в минуту. Потом я создал новый проект с ноля, где изменил только количество КЗ, и запрос ожидания, метод parse возвращает просто ссылку запроса
VB
Всё-равно не могу получить больше 50 страниц в минуту
МС
Я полностью убрал любую обработку данных. Но даже при 120 конкурентных запросах я не получаю больше 50 страниц в минуту. Потом я создал новый проект с ноля, где изменил только количество КЗ, и запрос ожидания, метод parse возвращает просто ссылку запроса
поставь 10 одновременных запросов...
и да, это что за сайт такой?
и да, это что за сайт такой?
VB
поставь 10 одновременных запросов...
и да, это что за сайт такой?
и да, это что за сайт такой?
это прокси который возвращает рендеренный сайт
VB
поставь 10 одновременных запросов...
и да, это что за сайт такой?
и да, это что за сайт такой?
scraperAPI
МС
это прокси который возвращает рендеренный сайт
подожди, рендеренный сайт, и твой самопальный скрипт то же через этот сервис работает?
МС
кстати, у тебя там что, тариф Business ?
VB
подожди, рендеренный сайт, и твой самопальный скрипт то же через этот сервис работает?
Да
VB
кстати, у тебя там что, тариф Business ?
да
VB
А напрямую без прокси одну страницу не судьба попробовать?
Так мне через него нужно)))
М
Так мне через него нужно)))
Для определения тормоза
VB
Для определения тормоза
Я собирал download_latency на 1к запросах в среднем получалось 14-15 секунд ожидания
МС
Я собирал download_latency на 1к запросах в среднем получалось 14-15 секунд ожидания
а у самого сервиса какая стата есть? или там у них только количества?
VB
а у самого сервиса какая стата есть? или там у них только количества?
А сам сервис говорит что я юзаю максимум 5 потоков