Телеграмм чат группы scrapy

Size: a a a

Scrapy

743 membersпожаловаться на группу

2020 November 30

15821 in Scrapy

Справедливо, полистать полистал а поиск не заюзал, поспать может пора) спасибо за подсказку)

источник

03:33пожаловаться #1

Balloon Fighter 🎈 in Scrapy

Переслано от Balloon Fighter 🎈

Привет. Помогите пожалуйста со scrapy! Суть проблемы. Есть функция parse, которая вызывает parse_house, которая в свою очередь вызывает parse_company.

parse_house и parse_company вызывают инструкцию yield, и отдают генератор. В этом и проблема! Как мне включить в генератор функции parse_house генератор parse_company? Впервые спрашиваю тут, помогите пож. Могу привести листинг (скажите куда скинуть)

источник

15:03пожаловаться #2

Balloon Fighter 🎈 in Scrapy

Переслано от Balloon Fighter 🎈

Результат и код. В результате вывод вперемешку из за асинхронности или чего-то еще

источник

15:03пожаловаться #3

Balloon Fighter 🎈 in Scrapy

Переслано от Balloon Fighter 🎈

источник

15:03пожаловаться #4

Balloon Fighter 🎈 in Scrapy

Переслано от Balloon Fighter 🎈

https://pastebin.com/qTnbVDZZ

Pastebin

import scrapyclass Mingkh(scrapy.Spider): name = 'houses' - Pastebin.com

Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.

источник

15:03пожаловаться #5

Andrey Rahmatullin in Scrapy

что такое "включить в генератор функции parse_house генератор parse_company"?

источник

15:04пожаловаться #6

Balloon Fighter 🎈 in Scrapy

Чтобы yield parse_house отдавал yield parse_company одновременно.

источник

15:05пожаловаться #7

Andrey Rahmatullin in Scrapy

yield from self.parse_company(response)

источник

15:05пожаловаться #8

Balloon Fighter 🎈 in Scrapy

Это должно быть в parse_company?

источник

15:18пожаловаться #9

Andrey Rahmatullin in Scrapy

чо вдруг

источник

15:21пожаловаться #10

Balloon Fighter 🎈 in Scrapy

Andrey Rahmatullin

чо вдруг

def parse_house(self, response):
def extract_with_css(query):
return response.css(query).get(default='').strip()

company_urls = response.css('dd span.clickable::attr(data-url)')
yield from self.parse_company(response)

источник

15:29пожаловаться #11

Balloon Fighter 🎈 in Scrapy

Не получается так

источник

15:30пожаловаться #12

МС

Михаил Синегубов... in Scrapy

а что именно надо то? привязать house к company или просто положить их рядышком?

источник

15:30пожаловаться #13

Balloon Fighter 🎈 in Scrapy

чтобы компани вернула генератор, а хаус обьеденил его в один и отдал наверх

источник

15:32пожаловаться #14

МС

Михаил Синегубов... in Scrapy

дак передай данные между колбеками и объедени

источник

15:33пожаловаться #15

Balloon Fighter 🎈 in Scrapy

Оба генератора печатают в разнобой, данные возвращаемые в них корректные. Просто по причине асинхронности они печатаются не рядом. Обьединение двух json файлов скриптом это же не решение? так не делают?

источник

15:33пожаловаться #16

МС

Михаил Синегубов... in Scrapy

только не забывай про фильтры дубликатов

источник

15:34пожаловаться #17

Andrey Rahmatullin in Scrapy

генераторы вообще не печатают

источник

15:34пожаловаться #18

Andrey Rahmatullin in Scrapy