A
Size: a a a
2020 October 22
OS
у тебя автоматом запускает?
A
у тебя автоматом запускает?
еще все в процесе настройки
OS
Товарищи, может кто что подскажет: у меня пауки запускаются с помощью scrapyd, но иногда происходит зависание паука. Паук берёт таски из рэббита используя библиотеку pika и иногда теряет коннекшен, после чего не финиширует в скрапид
AR
эксепшены в логах есть?
OS
AR
ну выясняй как обрабатывать обрыв коннекта в пике
OS
спасибо
СК
Господа! Подскажите, пожалуйста, никто не использовал этот мидлвейр:
https://github.com/virvaldium/scrapy-selenium
можно ли как-то передевать на webDriver свои заголовки в запрос?
https://github.com/virvaldium/scrapy-selenium
можно ли как-то передевать на webDriver свои заголовки в запрос?
i
а зачем этот выбрал. а не от clemfromspace? А ваще https://stackoverflow.com/questions/15645093/setting-request-headers-in-selenium
СК
а зачем этот выбрал. а не от clemfromspace? А ваще https://stackoverflow.com/questions/15645093/setting-request-headers-in-selenium
clemfromspace - от него и использую. Это просто ссылку нечаенно не ту скопировал
A
Кто юзал-юзает скрейпи-рт ?
A
интересует слежка за ценой, делать ето с помощю крон не модно (и долго). Читал что для етого исп. скрейпи-рт
A
или я не прав?
A
или вообще как следить за чем-то в рилтайме (сайт без апи)
ЛГ
Andrii
Кто юзал-юзает скрейпи-рт ?
бесконечный парсер?
ЛГ
я про выход