A
Впихнуть реквестс в паука 😂
Size: a a a
2021 May 28
AV
Я думал не скрапи использовать, но в тот момент, когда всплыла необходимость делать последовательно, уже весь код был написан. Там защита на это завязана и можно бан отхватить.
МС
ну, это смотри сам. Я уверен что скрапи можно заставить делать то, что тебе надо. Но не уверен, что это будет "дешевле" (и по времени в том числе), чем переписать на реквесты.
(
На уродца:
class SeqSpider(scrapy.Spider):
urls = [
'http://example.com/1',
'http://example.com/2',
'http://example.com/3',
]
def start_requests(self):
yiel scrapy.Request(self.urls.pop(0))
def parse(self, response, **kwargs):
if self.urls:
yield respone.follow(self.urls.pop(0))
МС
кстати, если брать соединения, то скрапи их держит больше, чем конкурирующих запросов...
МС
если это критично
(
?
МС
берешь проксю с авторотацией, с "ограничением одновременных соединений = 50", ставишь CONCURRENT_REQUESTS=50
получаешь ор от сервиса "дохрена соединений"
получаешь ор от сервиса "дохрена соединений"
(
Да соединений всё равно будет CONCURRENT_REQUESTS максимум.
G
приоритеты запросов тоже... могут не срабатывать https://stackoverflow.com/q/59443851/10884791
МС
неа, не будет. Я у ребят брал тестовый период, попросили "не боле 10 одновременных", короче, для гарантии мне пришлось упасть до 3.
МС
могут, из коробки они, по моему, чуток странно работают. Но я их не особо много пользовал
SK
Ребят, ламоду кто-нибудь парсил, подскажите пожалуйста как подгружали js страницы, splash не работает?
SK
спасибо, а аякс запрос получается для разных страниц разный, где можно про это почитать)
2021 May 29
2021 May 30
G
@de_vicont 👆эту ситуацию уже разбирали
DA
Привет. Только начал разбираться. У меня такой вопрос. Мне нужно спарсить страницы на который есть данные. На сайте бар селектора страниц бесконечный. То есть на 34 ещё есть данные, но можно переключиться дальше на 35, 36 и т.д. В методе parse я уже описал обработчик страницы. Но как мне собрать нужное количество url, именно с контентом. Я так понимаю мне нужно заполнить start_urls в start_requests?