B
а в самописном какой юзер агент?
Size: a a a
2020 April 16
B
Ещё я начал получать иногда такую ошибку, может ли она быть связана с работаю твистеда, или чего-то подобногоtook longer than 180.0 seconds..
вот собственно вместо бана, тебе сайт отдает.
B
нужно чаще менять проксю как вариант
VB
вот собственно вместо бана, тебе сайт отдает.
Это очень редко попадалось и скорее всего из-за моего интернета
B
так у тебя же через прокси сервис?
VB
так у тебя же через прокси сервис?
Он их сам меняет подставляет и тд
B
сайт получает запрос => в заголовке бот (либо другие признаки) => держи задержку в 50-150 секунд. Устраивает, парси.
AR
Он считает что наблюдаемая задержка не соответствует наблюдаемому рпм при имеющихся настройках, как я понял
B
@Molfar_Page ну имхо самый простой вариант натравить скрапи и самописный скрипт на простейщий сайт. И понять в чем дело.
B
Он считает что наблюдаемая задержка не соответствует наблюдаемому рпм при имеющихся настройках, как я понял
хм, такое может быть? 🤔
AR
мы это и пытаемся выяснить, похоже
B
😅
2020 April 17
AC
Всем привет! А как можно запустить спайдер с кастомными
вот например можно запустить
ITEM_PIPELINES?вот например можно запустить
scrapy crawl simple -s ITEM_PIPELINES=\{\} И тогда ITEM_PIPELINES будут пустые, а как добавить значения свои в ITEM_PIPELINES?СТ
Alexander Chaptykov
Всем привет! А как можно запустить спайдер с кастомными
вот например можно запустить
ITEM_PIPELINES?вот например можно запустить
scrapy crawl simple -s ITEM_PIPELINES=\{\} И тогда ITEM_PIPELINES будут пустые, а как добавить значения свои в ITEM_PIPELINES?я прям в самом спайдере прописывал, там можно указать custom settings для отдельного паука
AC
да но мне хочется каждый раз по своему настраивать запуск
СТ
Alexander Chaptykov
да но мне хочется каждый раз по своему настраивать запуск
про такое не в курсе )