VP
всем привет. Подскажите, почему scrapy минут 10 прыгает по сайту, но никак не может попасть в parse_items. что здесь не так?
Size: a a a
2019 July 29
VP
регулярки проверял отдельно, все правильно
s
всем привет. Подскажите, почему scrapy минут 10 прыгает по сайту, но никак не может попасть в parse_items. что здесь не так?
первый рул если закомментировать, что будет?
s
всем привет. Подскажите, почему scrapy минут 10 прыгает по сайту, но никак не может попасть в parse_items. что здесь не так?
а с этими а-з, нельзя .* заюзать?
VP
первый рул если закомментировать, что будет?
'Rule' object is not iterable
VP
до подходящих ссылок минимум 2 раза по ссылками проходить
VP
все понял, просто матчи потом только подгружаются скриптом пхп
JW
https://github.com/aivarsk/scrapy-proxies здесь есть, в PR посмотри
Немного не понял, PR? Типа в
# If proxy mode is 2 uncomment this sentence :
#CUSTOM_PROXY = "http://host1:port"
Указать адрес сплеша, и в args сплеш реквеста давать ему прокси?
# If proxy mode is 2 uncomment this sentence :
#CUSTOM_PROXY = "http://host1:port"
Указать адрес сплеша, и в args сплеш реквеста давать ему прокси?
К
Немного не понял, PR? Типа в
# If proxy mode is 2 uncomment this sentence :
#CUSTOM_PROXY = "http://host1:port"
Указать адрес сплеша, и в args сплеш реквеста давать ему прокси?
# If proxy mode is 2 uncomment this sentence :
#CUSTOM_PROXY = "http://host1:port"
Указать адрес сплеша, и в args сплеш реквеста давать ему прокси?
В пул реквестах есть рабочий вариант
JW
В пул реквестах есть рабочий вариант
Спасибо увидел буду пробовать.
JW
https://github.com/aivarsk/scrapy-proxies/pull/42
Человек говорит что сделал так чтобы, прокси работали по дефолту с сплешом
"This change allow the usage of splash with proxies managed by scrapy-proxies" Но по дефолту не работает, так какой args передать в луа скрипт, чтобы оно подхватило ту проксю которую схватил scrapy.proxies?
Человек говорит что сделал так чтобы, прокси работали по дефолту с сплешом
"This change allow the usage of splash with proxies managed by scrapy-proxies" Но по дефолту не работает, так какой args передать в луа скрипт, чтобы оно подхватило ту проксю которую схватил scrapy.proxies?
JW
кастомный endpoint='execute'
JW
полный дефолт? без агров на прокси в сплешреквесте и в луа скрипте? ну щас чистый проект сделаю глянем
К
настройки должны быть как в доке написано https://github.com/aivarsk/scrapy-proxies + код из пул реквеста