AR
(в scrapy-pyppeteer кстати нет мидлвари)
Size: a a a
2021 May 16
AV
вот я балбесина. Я для отладки отправлял одинаковые урлы, а заботливый скрапи видел, что я уже эти данные запрашивал(ну зачем лишние запросы делать?) и благополучно завершал работу. 😂😂😂
OS
главное, что нашёл 👍
AV
dont_filter=True в реквест добавлять надо, если кто будет отлаживать
AR
я потому про лог и спросил
МС
ребят, чес слово, затрахали уже с флудом, если так хочется потрындеть, то, либо в личку, либо давайте флудилку делать.
МС
я не против флуда, но меру надо знать
МС
@iamadminch - не надо тут писать, в скрапи-джобс написал, кто захочет - ответит
RL
Окей) спс
2021 May 17
NZ
Привет, подскажите, пожалуйста allowed_domains работает при использовании SitemapSpider? В SitemapSpider есть sitemap_rules, но похоже это аналог рулов для краулер паука и логично что allowed_domains будет работать и для SitemapSpider
МС
вообще, должно работать.
Оно же работает чуть на другом уровне.
Оно же работает чуть на другом уровне.
NZ
благодарю, и я правильно понимаю что не смотря на название он по сути делает поиск под строки в урле?
Тоесть допустим если урл https://www.example.com/sec1/1.html и меня интересуют только страницы из sec1 я могу в allowed_domains писать example.com/sec1/ (хоть я и понимаю что это можно вынести на rules)
Тоесть допустим если урл https://www.example.com/sec1/1.html и меня интересуют только страницы из sec1 я могу в allowed_domains писать example.com/sec1/ (хоть я и понимаю что это можно вынести на rules)
МС
нет
МС
проверяются именно домены, example.com/sec1/ - это совсем не домен
NZ
понял, спасибо
МС
sitemap_rules = [
('/sec1/', 'parse_section1'),
]
МС
примерно это надо