щас дочитаю эту статью, может будет проще объяснить. просто выбор прокси плана подразумевает достаточное знание темы что выбрать. вот и пытаюсь разобраться с теорией

Как вариант ещё https://www.scrapinghub.com/crawlera/

Добрый вечер! Столкнулся со следующим кейсом:
Необходимо запарсить один сайт. На странице есть кнопки, которые раскрывают список услуг. В чем особенность этих кнопок:
1. При нажатии появляется информация, которую необходимо запарсить
2. При нажатии ссылка в браузерной строке не меняется. То есть, например, сайт example.com, после нажатии кнопки сайт остается таким же - example.com, а не example.com/extra_info.
3. Перед нажатием кнопки HTML один, после нажатия HTML другой - появляются необходимые элементы
Итак, вопрос: как сделать так, чтобы scrapy видел HTML после нажатия? Необходим селениум, или можно обойтись без него? Я новичок в scrapy и в скрапинге сайтов

Посмотри может быть эта информация есть в исходнике страницы, просто в другом месте, или же она подгружается xhr запросом, тогда тебе нужно без нажатий сразу запросить эту ссылку.
Тут написано, где искать этот запрос https://docs.scrapy.org/en/latest/topics/dynamic-content.html

Понял. Буду изучать спасибо

90% что там не нужен селениум

Исходник, вы имеете в виду html код?

Или View Page Source (Ctrl+U  в хроме) или загрузи страницу отключив JS

А там уже как обычно через поиск забивай какую инфу ищешь

Понял. Спасибо

не подскажите как реализовать слудеющую логику:
CrawlSpider сначала отправляет два запроса, а потом проходит по ссылкам из start_urls с применением правил?

пропиши запросы до спайдера

не

?

передай нужное через self, я тупой, но вроде решение

Может кто сталкивался или знает где найти. Нужно много "айтишных слов" чем больше тем лучше

Можете подсказать чат по селениуму?

Спасибо

Вроде таких нет. Можешь поспрашивать в чатах QA