AS
Мне кажется сейчас вообще в parse_model() не заходит, start_urls -> parse(), а parse_model() нигде не фигурирует как колбек
Size: a a a
2020 February 29
AR
угу
AS
Не совсем понимаю вопрос, что должно происходить когда все страницы пройдены? Если какая-то постобработка айтемов, то это в пайплайне, а если ещё один реквест с коллбеком на parse_model(), то как обычно yield Request(url, callback=parse_model())
Q
Не совсем понимаю вопрос, что должно происходить когда все страницы пройдены? Если какая-то постобработка айтемов, то это в пайплайне, а если ещё один реквест с коллбеком на parse_model(), то как обычно yield Request(url, callback=parse_model())
тот что parse_model() я хотел чтобы он заходил в каждую из этих ссылок
AR
но он не выполняется
Q
но он не выполняется
ну да я понимаю, вот не могу понять где должен быть вызов на эту функцию
AR
это тебе виднее уже
AR
и "когда уже все страницы пройдет, должен вернуться к первоначальной функции" скрапи работает не так
AS
ну да я понимаю, вот не могу понять где должен быть вызов на эту функцию
Ну грубо говоря надо чтобы то, что сейчас в parse_model() было в parse(), тогда все будет начинаться с этого) думаю и начальный Урл тоже надо будет поменять
Q
и "когда уже все страницы пройдет, должен вернуться к первоначальной функции" скрапи работает не так
блэт тогда я не понял чего то(
AR
в обычном воркфлоу нет понятия "обошли всё, теперь делаем что-то"
AR
обошли страницу, извлекли из неё что-то, отправили в очередь ссылки на какие-то другие страницы
Q
Ну грубо говоря надо чтобы то, что сейчас в parse_model() было в parse(), тогда все будет начинаться с этого) думаю и начальный Урл тоже надо будет поменять
хм тупо сделал как примерно ты описал - все спарсило как надо, только перемешалось..
AS
Что перемешалось? 😅
AS
А, ну так это норма)