Телеграмм чат группы scrapy

ну, я из халявных вытаскивал 100-300, это да. Только мне надо, хотя бы несколько тыс, что бы адекватно жило
рокавто (https://www.rockauto.com/) вроде, на несколько суток банит, после ~350 запросов

источник

22:59пожаловаться #6

ildar in Scrapy

а там тайминги настраивай-не настраивай все-равно не будет? ты пробовал?

источник

23:01пожаловаться #7

ildar in Scrapy

попробуй заимитировать реального хера, который ищет тачку и пусть он у тебя еще дебилом будет медленным. В духе запрос раз в 20 секунд, или минуту. Или им пофигу?

источник

23:01пожаловаться #8

МС

Михаил Синегубов in Scrapy

эмн, там, вообщет надо сотни тыс запросов "прокачать", а то и поболее :)

источник

23:04пожаловаться #9

ildar in Scrapy

ну и что, качай их неделю. Постепенно снижай просто тайминги. Как начнут банить - на следующей связке прокси повышай.

источник

23:05пожаловаться #10

Кирилл in Scrapy

ildar

Это от сайта зависит

источник

23:05пожаловаться #11

ildar in Scrapy

Если ты к примеру возмешь условные тыщу проксей, и тайминг доведешь до условно-реального человека с запросом раз в 5 секунд, которого система не банит. У тебя будет скорость огого.

источник

23:05пожаловаться #12

ildar in Scrapy

Чтобы каждая прокси слала запрос раз в 5 секунд. И работали она параллельно

источник

23:06пожаловаться #13

Кирилл in Scrapy

Есть такие которые, которые по таймингу кассу дают, все зависимости от количества запросов

источник

23:06пожаловаться #14

ildar in Scrapy

выйдет у тебя 200 запросов в секунду.