Это Спайдер уже как бы настроенный

Можно ещё и parse_page обрабатыватт страницы

И дополнительно вызывать scrapy request

Пойду погуглю. Пока плохо понимаю.

в супе еще и формы итд есть, это надстройка над лхмл и прочими

она более вернего уровня?

я думал паралельно что-то

в стандартный парс передавать категории и отдельный для итемов, можно по хпазу выбирать

что-то вроде селениума по уровню(но без жс)

#job #работа #python #вакансия #удаленно

Требуется Python Developer УДАЛЕННО!

✅Требования:
• Опыт в разработке от 3-х лет с использованием Python и Django
• Хорошее знание технологий парсинга сайтов - Scrapy, Splash, Headless Chrome
• Хорошие коммуникативные навыки
• Успешный опыт работы на проектах с распределенной командой

✅Условия:
• Основная задача – разработка и поддержка парсера сайтов по недвижимости
• Удаленная работа с почасовой оплатой, примерно 10-20 часов в неделю
• Оплата до 1200  руб/час

✉️ Если вас заинтересовала вакансия пришлите пожалуйста резюме на olga.pankina@hotger.com

это легче\сложнее?

категории я уже спарсил, просто не знаю как дальше заставить скрапи работать

гибче/легче

ну по икспазу или паттерну выбирать страницы с айтимами и их на другой кэллбэк

Вот я тут получаю категории

def parse(self, response):
        root = Selector(response)

        links = root.css('li > a::attr(href)')

        for link in links:
            link_item = VodopadCatalogItem()
            link_item['link'] = link.extract()
            yield link_item

как теперь отправить его на другой коллбек?!

yield scrapy.Request(url, callback=self.parse_httpbin)

Надо запустить какую нибудь рекламку этого канала

Комьюнити по скрепи просто нет. Надо это исправить

Я имею ввиду русскоязычного