спасибо, теперь понял чуть чуть

Scrapy же так и работает, асинхронно, какой респонз первым пришёл, тот первым и распарсился

Порядок не сохранятся

ага, эт понял уже)

плохо когда англ не знаешь, считай почти по примерам доки учусь...

гуглотранслейт творит чудеса….

да тоже через раз) иногда так переведет что лучше б промолчал)

дучше, чем ничего)

плохо, да.

А как в итоге приоритет обработки колбека действует

?

там разные стретегии есть

Если уровня три перехода до целевых итемов - я что то не заметил, чтоб выставление приоритета ускоряло процесс именно их добычи, а не шатания по начальным страницам

Как можно выставить приоритет именно вертикальных переходов, а не в горизонт?

чет вспомнился фильм Event Horizon. А если по теме, то вот эта штука: https://docs.scrapy.org/en/latest/topics/settings.html#depth-priority

и дальше: https://docs.scrapy.org/en/latest/faq.html#faq-bfo-dfo

если ты надеешься с помощью этой штуки сортировать, то особо не надейся, она просто к примеру для того, чтобы результаты нужные пошли, особенно в связке с DEPTH_LIMIT

доброй ночи. начинаю изучать scrapy. поэкспериментировал с докой и getquotes, теперь пытаюсь написать простой спайдер который получает данные со страницы и переходит на следующую. выглядит так:

...
    def parse(self, response):
        for article in response.css('article'):
            item = {
                'title': article.xpath("//h1/text()").extract_first().strip(),
                'categories': article.xpath("//a[@class='tag__link']/text()").extract(),
                'url': response.url,
                'tags': article.xpath("//span[@class='b-singlepost-tags-items']/a/text()").extract(),
            }
            yield item

работает, но когда я запускаю scrapy runspider articles.py -o articles.json он мне пишет в JSON две записи вместо одной, хотя <article> там всего один. Почему так, подскажите, пожалуйста? Спасибо.

Чтобы индексировать страницы и проводить поиск по этим документам, нужно полностью сохранять HTML документ(текст без тегов) в базу данных?

...
    def parse(self, response):
        for article in response.css('article'):
            item = {
                'title': article.xpath("//h1/text()").extract_first().strip(),
                'categories': article.xpath("//a[@class='tag__link']/text()").extract(),
                'url': response.url,
                'tags': article.xpath("//span[@class='b-singlepost-tags-items']/a/text()").extract(),
            }
            yield item

Записи одинаковые?