Телеграмм чат группы scrapy

В т.ч. про то как в питоне работают аргументы

Я не пользуюсь скрапи, и сходил из только из примера выше, ну и главное: https://t.me/scrapy_python/64601

Andrey Rahmatullin in Scrapy

15:03пожаловаться #1

МС

ок, ладно замяли, тем боле, что вопрос совсем не в этом.
а в том, что, из 5-10 тыс вызовов, на нескольких - эта переменная теряется

15:08пожаловаться #2

Ок. Я потому и сделал скромное предположение, что, возможно, причина была в этом, что на выходе внутри

def parse(self, response, **kwargs):
    cat =kwargs.get('cat')

получается None. Не знал, что происходит деструктуризация словаря. Значит, причина не в этом...

15:13пожаловаться #3

Еще вопрос: какой тип возвращает request.meta.get('proxy')?

15:14пожаловаться #4

МС

строку

15:15пожаловаться #5

А None быть не может?

15:15пожаловаться #6

МС

нет, при данном использовании.
но, даже если и может, то, при ~100-150 выполнениях проблем не было

15:16пожаловаться #7

МС

от 100% там какая то нубятская хрень...

15:18пожаловаться #8

Я, может, сейчас снова спрошу что-то очевидное в отношении скрапи, но где формируется этот словарь cb_kwargs={'cat': cat}? Как данные попадают внутрь start_requests()?

15:21пожаловаться #9

Просто ощущение, что что-то не успевает отрабатывать

15:22пожаловаться #10

И если попробовать дебагером пройтись?

15:24пожаловаться #11

МС

Вообще не понял вопроса....
Старт реквест срабатывает при старте паука. Он, по сути, генерит очередь запросов.
Исходные данные - локальная для данной функции переменная.
Если ты про это

15:24пожаловаться #12

МС

Ну, я им постоянно подьзуюсь

15:24пожаловаться #13

МС

Ещё раз, это возникает один раз на несколько тыс выполнения, дебажить десяток мидлварей на этих запросах...

15:26пожаловаться #14

Да, я про это. Если внутри функции, то то, что содержит переменная cat (опять же: что она содержит и что за данные в ней, как формируются) каким-то образом содержит или не содержит ожидаемое. Если я правильно понял слово "теряется" в данном контексте.

15:32пожаловаться #15

МС

нет, я перестарался с удалением

def start_requests(self):
    catalogs = ['set1', 'set2']
    for cat in cats:
        data={....}
        yield JsonRequest('site.ru', data=data,   cb_kwargs={'cat': cat})

вообще, все переменные в данном методе статичные, и внутри метода, из вне ничего не приходит

15:35пожаловаться #16

МС

в data две константы + этот cat, если data будет не верным, то запрос не попадет в parse

15:36пожаловаться #17

А в parse() в kwargs приходят данные только из start_requests()? Вопрос в том, в тех случаях, когда происходит та ошибка, kwargs внутри parse() пустой? Или туда приходит словарь, но с пустыми значениями?

15:40пожаловаться #18

Ну, т.е. в тех случаях cat = kwargs.get('cat') == None?

15:44пожаловаться #19

или ключа cat вообще нету в kwargs?