(
Это в голом скрапи custom_proxies?
Size: a a a
2021 May 24
A
os.environ.get
A
а в пауке потом:
from scrapy.utils.project import get_project_settings(
А потом в каждый реквест мету добавлять? Ну нафиг
AR
На запросы, делаются ли и что получается
BG
Можно задать еще один вопрос. Такая ситуация, что сайт подкачивает данные из других источников или работает динамически. Проблема в том, что я хочу спарсить все страницы этого динамического сайта, но сайт не имеет разных ссылок на каждую страницу, тоесть ссылка на первую и последнюю страницу одинакова(https://xn--90adear.xn--p1ai/news/region). Как работать с такими сайтами, чтобы можно было спарсить все страницы?
BG
хотя, пока я писал уже в голову пришла одна мысль))
МС
Эт нормально, правильно заданный вопрос содержит половину ответа😁
BG
json первой страницы я смог взять
(
Второй день пишут - парси апи
BG
))
(
Параметры к апи должны быть, типа страницы или номера первого элемента
(
Смотри в devtools
A
Я даже такую штуку заказал
A
A
Буду с уткой проговаривать вопрос)
МС
Кто то тут говорил,что хреново помогают. От когда в чатик, с шансом нарваться на бурчание😁
МС
Смотри, что бы в дурку не увезли😉
A
:))