Size: a a a

2020 October 17

𝕾

𝕾𝖔𝖚𝕷𝕭𝖆𝕯𝕲𝖚𝖄... in Scrapy
Это я прочитал. Не до конца понял, но половина инфы про пайплайны, как туда что-то пихать, а я хочу в спайдер запихать именно)
источник

𝕾

𝕾𝖔𝖚𝕷𝕭𝖆𝕯𝕲𝖚𝖄... in Scrapy
мне на стадии пайплайнов уже поздно что-то делать
источник

S

SoHard 🎄 in Scrapy
𝕾𝖔𝖚𝕷𝕭𝖆𝕯𝕲𝖚𝖄
Это я прочитал. Не до конца понял, но половина инфы про пайплайны, как туда что-то пихать, а я хочу в спайдер запихать именно)
У тебя def parse а в нем авейт
источник

S

SoHard 🎄 in Scrapy
Оно в синхронном методе никак не заработает
источник

𝕾

𝕾𝖔𝖚𝕷𝕭𝖆𝕯𝕲𝖚𝖄... in Scrapy
я понимаю, да. Но просто сделать async def parse() мне тоже не дадут?
источник

К

Кирилл in Scrapy
ох развел базар, если не знаешь не нужно тут начинать "ну сделай тогда синхрон" "тут там какая-то поддержка есть"
источник

К

Кирилл in Scrapy
𝕾𝖔𝖚𝕷𝕭𝖆𝕯𝕲𝖚𝖄
я понимаю, да. Но просто сделать async def parse() мне тоже не дадут?
делай
источник

К

Кирилл in Scrapy
Пропиши правильный реактор для твистеда, и сможешь тогда делать асинхронные калбэки
источник

𝕾

𝕾𝖔𝖚𝕷𝕭𝖆𝕯𝕲𝖚𝖄... in Scrapy
Мне ещё интересно, как заставить поочереди эти функции работать. Допустим есть функция, которая что-то делает, например parse(). Вот она спарсила, собрала какие-то данные. Что дальше написать в конце, чтобы другая функция эти данные приняла. Например видоизменила или что-то ещё
источник

S

SoHard 🎄 in Scrapy
𝕾𝖔𝖚𝕷𝕭𝖆𝕯𝕲𝖚𝖄
Мне ещё интересно, как заставить поочереди эти функции работать. Допустим есть функция, которая что-то делает, например parse(). Вот она спарсила, собрала какие-то данные. Что дальше написать в конце, чтобы другая функция эти данные приняла. Например видоизменила или что-то ещё
Колбэк
источник

𝕾

𝕾𝖔𝖚𝕷𝕭𝖆𝕯𝕲𝖚𝖄... in Scrapy
видел примеры где писали yield self.foo() и работало. Но что надо передавать в функцию
источник

𝕾

𝕾𝖔𝖚𝕷𝕭𝖆𝕯𝕲𝖚𝖄... in Scrapy
а, ну я так понимаю, что про колбеки и есть речь, спасибо!
источник

Marat Мkhitаrуаn in Scrapy
Я посмотрел, так не получится
источник

𝕾

𝕾𝖔𝖚𝕷𝕭𝖆𝕯𝕲𝖚𝖄... in Scrapy
Кирилл
Пропиши правильный реактор для твистеда, и сможешь тогда делать асинхронные калбэки
Эх, никогда даже не видел что такое twisted, поэтому чую, что это жопа)))
источник

S

SoHard 🎄 in Scrapy
𝕾𝖔𝖚𝕷𝕭𝖆𝕯𝕲𝖚𝖄
а, ну я так понимаю, что про колбеки и есть речь, спасибо!
Открой тутор по скрапи
источник

К

Кирилл in Scrapy
𝕾𝖔𝖚𝕷𝕭𝖆𝕯𝕲𝖚𝖄
Эх, никогда даже не видел что такое twisted, поэтому чую, что это жопа)))
источник

К

Кирилл in Scrapy
Там все просто, в settings пропиши, и тогда в некоторых местах сможешь делать нэйтивный пайтоновский асинхрон, но не везде
источник

S

SoHard 🎄 in Scrapy
Так реквест же синхронный
источник

S

SoHard 🎄 in Scrapy
В чём смысл тогда от асинхронности если запросы синхронные
источник

Marat Мkhitаrуаn in Scrapy
asyncio.run блокируется пока твой асинхронный таск не выполнится
источник