Телеграмм чат группы scrapy

блин, от вообще не пойму, тем более, оно не стабильно пропадает 😕
сейчас парсер пройдет проход, одна потеря.
мой код на гисте - если отбросить запросы (это старая версия) - в остальном - нормальный?
ибо кроме него, только ротатор прокси.

от банов прокси - не зависит (я про ретраи), их по много раз больше.

источник

12:58пожаловаться #8

МС

Михаил Синегубов... in Scrapy

причем, раньше таких проблем не замечал.
а, и да, я пробовал данные через мету передать - то же самое, несколько потерь....

источник

13:01пожаловаться #9

МС

Михаил Синегубов... in Scrapy

ладн, буду, как то, пытаться отловить, правда, пока, вообще не представляю как 🙃

источник

13:03пожаловаться #10

i in Scrapy

мне в голову приходит только одно, и наверно это неправильно, но: может попробовать def parse(self, response) на def parse(self, response, **kwargs): сменить? Может не зря pycharm на несовпадение сигнатуры ругается.

источник

13:39пожаловаться #11

МС

Михаил Синегубов... in Scrapy

викторину не выиграл, я так и делаю :))

источник

13:40пожаловаться #12

МС

Михаил Синегубов... in Scrapy

я же говорил, что, самое плохое, в этим - это то, что потери единичные...
было бы постоянно, или хотя бы 30-40% - уже отловил бы

источник

13:41пожаловаться #13

Alex in Scrapy

источник

14:49пожаловаться #14

Alex in Scrapy

Если ключевым аргументом передается cb_kwargs={'cat': cat}, то получать надо не cat = kwargs.get('cat'), а cat = kwargs.get('cb_kwargs')('cat'). Попытка получить cat = kwargs.get('cat') будет None.

источник

14:52пожаловаться #15

Alex in Scrapy

Возможно, в этом и есть ошибка

источник

14:53пожаловаться #16

SoHard 🎄 in Scrapy

ты в скрапи попробуй

источник

14:54пожаловаться #17

Alex in Scrapy

В скрапи я не знаю как там это работает, я про базовые функции передачи ключевых аргументов. Раз ты так говоришь, значит, внутри где-то этот cb_kwargs словарь разворачивается, хз. Я лишь отметил то, что бросилось в глаза, поэтому и спросил не может ли быть в этом причина

источник

14:57пожаловаться #18

Alex in Scrapy

И раз это так, то какое-то неочевидное поведение. Меня бы лично сбило с толку.

источник

14:59пожаловаться #19

МС

Михаил Синегубов... in Scrapy

я, конечно, дико извиняюсь, но зачем говорить о том, что "я не знаю как там это работает"

cb_kwargs (dict) – A dict with arbitrary data that will be passed as keyword arguments to the Request’s callback.

источник

15:00пожаловаться #20