Телеграмм чат группы scrapy

ты отправляешь тот же запрос второй раз, дупфильтр его режет

19:37пожаловаться #1

это, впрочем, и в логе написано

check_url работает корректно, но вот колбек parse_user_data не отрабатывает :/

потому что он не нужен

19:38пожаловаться #3

SoHard 🎄 in Scrapy

совмести эти два колбэка

19:38пожаловаться #4

Кирилл in Scrapy

Да, в первом варианте, ты модифицировал ссылку и запрашивал другую старницу. А тут та же самая, просто сразу её используй

19:38пожаловаться #5

Как я вижу работу программы:
1. Собираю все ссылки и отправляю на проверку
2. Проверка срабатывает, отправляет страницу на парсинг
3. Парсинг

19:39пожаловаться #6

Кирилл in Scrapy

ну добавь тогда dont_filter=True

но это ерунда

ну добавь тогда dont_filter=True

х2 запросы

19:40пожаловаться #10

yield from

19:40пожаловаться #11

а, там не генератор

19:40пожаловаться #12

SoHard 🎄 in Scrapy

тогда уж yield from self.parse_user_data(response)

19:40пожаловаться #13

ну и зачем селф-то передавать второй раз

19:41пожаловаться #14

Спасибо! Получилось

19:42пожаловаться #15

Не знал что он дубликаты удаляет и передавал урл который уже был

19:42пожаловаться #16

лог не читал потому что

19:42пожаловаться #17

А куда я могу куки положить в Кравлера?

20:02пожаловаться #18

X-Crawlera-Cookies: disable и менеджить в пауке как обычно

20:04пожаловаться #19

Bulatbulat48 in Scrapy

Andrey Rahmatullin

X-Crawlera-Cookies: disable и менеджить в пауке как обычно

они вроде только на Enterprise тарифе включены