Телеграмм чат группы scrapy

привет, не дашь мне примерчиком в глазик?
а то я, пока, не осилил как его заюзать....
пока накостылил через aiohttp с асинком, но, хочется разобраться

источник

09:38пожаловаться #4

Andrey Rahmatullin in Scrapy

await ему делаешь

источник

09:39пожаловаться #5

Andrey Rahmatullin in Scrapy

Получаешь респонс

источник

09:39пожаловаться #6

Andrey Rahmatullin in Scrapy

Пример в доке где-то, где в сплеш ходят из пайплайна

источник

09:39пожаловаться #7

МС

Михаил Синегубов... in Scrapy

https://docs.scrapy.org/en/latest/topics/item-pipeline.html#take-screenshot-of-item
оно ?

источник

09:42пожаловаться #8

МС

Михаил Синегубов... in Scrapy

человеки, небольшой мета вопрос
периодически теряется

cb_kwargs

отправляется через

    def start_requests(self):
        yield JsonRequest('site.ru', data=data,   cb_kwargs={'cat': cat})

забираю через

    def parse(self, response, **kwargs):
        cat =kwargs.get('cat')

подключена моя мидлварь и ротатор прокси
https://gist.github.com/Mifody/0c0e542e54ae33c4536e0da16892eb2e
https://github.com/TeamHG-Memex/scrapy-rotating-proxies

у меня скоро крышняк поедет, не могу понять, где косяк 😐

источник

10:40пожаловаться #9

Andrey Rahmatullin in Scrapy

Да

источник

11:03пожаловаться #10

МС

Михаил Синегубов... in Scrapy

спасиб, поиском по доке не находило почему то 😕

источник

11:04пожаловаться #11

Alex in Scrapy