Телеграмм чат группы scrapy

Size: a a a

Scrapy

759 membersпожаловаться на группу

2020 December 05

Кирилл in Scrapy

Зачем тебе сохранять запрос в словаре?

источник

18:17пожаловаться #1

Максим in Scrapy

нужные данные на разных страницах находятся

передавай данные, собранные на первой странице, в коллбэк для второй

так, подумаю

передавай данные, собранные на первой странице, в коллбэк для второй

а есть способ чтобы такого не делать?

источник

18:20пожаловаться #4

i in Scrapy

тебе чего, cb_kwargs лень написать что-ли?)

не в этом дело

я правлю чужой парсер

источник

18:21пожаловаться #7

Andrey Rahmatullin in Scrapy

Максим

а есть способ чтобы такого не делать?

scrapy-inline-requests

источник

18:21пожаловаться #8

i in Scrapy

не очень понял, как это связано, ну да ладно, inline requests тебя спасут

источник

18:24пожаловаться #9

SoHard 🎄 in Scrapy

не очень понял, как это связано, ну да ладно, inline requests тебя спасут

а потом после него еще кто-то будет править парсер и я ему не завидую

источник

18:30пожаловаться #10

Максим in Scrapy

SoHard 🎄

а потом после него еще кто-то будет править парсер и я ему не завидую

Всё норм, я сейчас заморочусь над диспатчером

источник

18:32пожаловаться #11

SoHard 🎄 in Scrapy

Максим

Всё норм, я сейчас заморочусь над диспатчером

как это связано с тем что тебе данные с одного колбэка в другой передать надо?

источник

18:32пожаловаться #12

Максим in Scrapy

SoHard 🎄

как это связано с тем что тебе данные с одного колбэка в другой передать надо?

У меня несколько страниц, с них надо собрать данные в один айтем

источник

18:33пожаловаться #13

SoHard 🎄 in Scrapy

Максим

У меня несколько страниц, с них надо собрать данные в один айтем

cb_kwargs

источник

18:34пожаловаться #14

Максим in Scrapy

причем иногда некоторые отсутствуют

источник

18:34пожаловаться #15

Максим in Scrapy

SoHard 🎄

cb_kwargs

да знаю я про это

источник

18:34пожаловаться #16

Максим in Scrapy

использую

источник

18:34пожаловаться #17

Максим in Scrapy

но полюбому надо сделать диспатчер, который будет слать запросы по нужным функциям

источник

18:35пожаловаться #18

18:36пожаловаться #19

просто не думай об этом

источник

18:36пожаловаться #20