МС
гони код в личку (или сюда)
надеюсь у тебя там не увешано все йтемами и пайпами :)
просто у меня из коробки все работало. Только, обычно, хренова куча других запросов в методе было. Из-за этого косячило часто
Size: a a a
2020 February 17
МС
AB
ща, попробую ешё кой чего
EB
пишу спайдер, на последнем генераторе собираю item уже, но понадобилось от туда джойнить url, сходить по нему, распарсить и вернуться в генератор с полученной инфой и дособрать item. делаю например так:
description = scrapy.Request(
url=f'{response.url}?description',
callback=self._parse_description
)
и оно возвращает мне реквест вместо результата колбека, как правильно замутить не юзая другие модули типа requestsаналогичная ситуация, но в моём случае нужно выполнить запрос сейчас а не параллельно с калбеком, так как дальнейшая работа без результатов бесмысленна, получилось что либо придумать?
AB
да, inline_requests работают
AB
просто оборачиваете метод в декоратор и используете консструкцию
another_resp = yield scrapy.Request(another_url)AB
все реквесты в обернутом методе будут возращать response на месте, потом его обрабтывайте как обычно
EB
просто оборачиваете метод в декоратор и используете консструкцию
another_resp = yield scrapy.Request(another_url)счас попробую, благодарствую
EB
все реквесты в обернутом методе будут возращать response на месте, потом его обрабтывайте как обычно
у меня почемуто метод возвращает генератор а не респонс
AB
Не, делай сразу всю эту фигню в методе в котором обрабатываешь и его оборачивай
AB
Не так как я выше фоткал))
AR
scrapyd? ScrapyRT?
EB
scrapy crawl first_scrapy -a group = accessories
надо что то такое, чтоб оправлять подобный запрос на адрес впс... или это походу уже отдельный апи писать надо?
надо что то такое, чтоб оправлять подобный запрос на адрес впс... или это походу уже отдельный апи писать надо?
так это и есть scrapyd
EB
можно всякие scrapydweb посмотреть
iz
можно всякие scrapydweb посмотреть
+