VB
10 в очень редких случаях
Size: a a a
2020 April 16
VB
(у них потоками это называется)
МС
ну, для них это как потоки и выглядит
МС
а вот это странно, ибо скапи, обычно, открывает больше соединений чем выставил одновременных запросов
МС
Да какие потоки то?? Concurrent requests что ли...
ты на стороне сервиса, к тебе прилетело 50 одновременных запросов - что это по твоему?
сейчас вопрос не терминалогии скапи, а сервиса
сейчас вопрос не терминалогии скапи, а сервиса
М
а вот это странно, ибо скапи, обычно, открывает больше соединений чем выставил одновременных запросов
Очень неудобно кстати, когда нужно аккуратно и последовательно ресурс пощупать
VB
а вот это странно, ибо скапи, обычно, открывает больше соединений чем выставил одновременных запросов
Вот пример чистого проекта если интересно https://github.com/Mo1far/test_spider/blob/master/tutorial/spiders/quotes_spider.py
VB
Может кто поделить зависимостями ваших самых быстрых проектов?
VB
Может у меня с версиями что-то
VB
Ещё я начал получать иногда такую ошибку, может ли она быть связана с работаю твистеда, или чего-то подобногоtook longer than 180.0 seconds..
AR
нет, это просто не дождались ответа от сервера
AR
к вопросу о якобы 14 секундах на реквест
VB
к вопросу о якобы 14 секундах на реквест
Что?
AR
ну в среднем может и 14, но некоторым вот и 180 мало
VB
На момент когда я засекал у меня не было неудачных запросов вообще
B
Может кто поделить зависимостями ваших самых быстрых проектов?
а headers у тебя провайдер перезаписывает своими?
VB
а headers у тебя провайдер перезаписывает своими?
Ой, я честно говоря незнаю делает ли он это. А это может влиять?
B
Ой, я честно говоря незнаю делает ли он это. А это может влиять?
на бан может влиять, у скрапи юзер_агент: Скрапи. Если парсишь амазон, он как раз может не банить а увеличивать время ответа.
VB
на бан может влиять, у скрапи юзер_агент: Скрапи. Если парсишь амазон, он как раз может не банить а увеличивать время ответа.
Значит меняет. Банов не замечено