Телеграмм чат группы scrapy

Size: a a a

Scrapy

2019 September 16

Ну просто, вот к примеру есть у меня пара сайтов на лям позиций, ну там эта имитация человека три дня работает и вуаля. И никто не банит.

источник

23:08пожаловаться #1

МС

Михаил Синегубов in Scrapy

ildar

А сколько уже процентов от сайта ты спарсил примерно?

я - нисколько, у мну клиент эти секасом занимаеться :)
на самом деле - я и не предлагал эту услугу. Просто там человек чуть чуть непонятный в этом плане

источник

23:08пожаловаться #2

ildar in Scrapy

ваще конечно странные клиенты и их бизнесы зачастую. Особенно с учетом того, что там на картинках везде ватермарки на этом сайте.

источник

23:09пожаловаться #3

ildar in Scrapy

Иногда по их хотелкам можно догадаться, что им на самом деле другая штука нужна, или что они могут чуууть-чуть поднапрячся и квалифицироваться на какое-нибудь API от сайта и получать эти данные широким потоком за не такой уж и большой прайс. Но нет.

источник

23:10пожаловаться #4

ildar in Scrapy

И ты им даже предлагаешь типа "эй, смотри, вот тут API, тут прайс на него, давай я тебе для него обвязку напишу?", а клиент такой - нееее, такой секс мне не интересен.

источник

23:12пожаловаться #5

МС

Михаил Синегубов in Scrapy

да с этим клиентом вообще тяжело. Там два человека и с компом, такое ощущение, на "Вы".
народ даже и не знает, что такое прокси...

источник

23:12пожаловаться #6

МС

Михаил Синегубов in Scrapy

ха, я зажись запустил ротацию, вопрос - насколько оно хватит :)

Они и не должны знать, они тебе за это деньги платят

источник

23:12пожаловаться #8

МС

Михаил Синегубов in Scrapy

Кирилл

Они и не должны знать, они тебе за это деньги платят

ну, они парсить сами захотели...

ну, они парсить сами захотели...

Писать парсер?

источник

23:13пожаловаться #10

МС

Михаил Синегубов in Scrapy

я с люминати щас из спортивного интереса ковыряюсь :).
может и им предложу, а может и х/з

я им прасер написал и отдал...

источник

23:14пожаловаться #11

ildar in Scrapy

Михаил Синегубов

ха, я зажись запустил ротацию, вопрос - насколько оно хватит :)

моя рекомендация - если они с компуктером на Вы, увелич им тайминги на ротации, объясни через лунные циклы Эльдорады и "что так надо, чтоб работало стабильно", в идеале добиться того, чтобы у тебя в итоге либо 1) не банило, либо 2) успевало выпускать из бана. 1й вариант намного лучше.

источник

23:15пожаловаться #12

ildar in Scrapy

это кажется что "ооой, да это будет медленно", а по-итогу если подсчитать там за 2-3-4 дня все можно спарсить на малом бабле обычно. А потом опять пустить по-кругу в следующем месяце или когда им там понадобится.

источник

23:16пожаловаться #13

ildar in Scrapy

а какие у тебя щас тайминги и сколько проксей?

источник

23:17пожаловаться #14

Elisei Badanin in Scrapy

если они не шарят м такой вопрос уже возник, то там “тыж программист, сделай все за 1секунду”

источник

23:17пожаловаться #15

МС

Михаил Синегубов in Scrapy

блин, там два сайта, рокавто еще куда ни шло, там там хоть на несколько суток.
а вот второй, точнее на втором сетка сайтов - там вообще, вплоть до зону страны на время банят, я тут спрашивал. RU зону забанили нафиг, спарсил пару сот тыс.

источник

23:17пожаловаться #16

ildar in Scrapy

ну тут ты достаешь калькулятор и показываешь им на калькуляторе математику)

источник

23:17пожаловаться #17

МС

Михаил Синегубов in Scrapy

ildar

а какие у тебя щас тайминги и сколько проксей?

тайминги вообще не ставил, если я правильно помню ~7 тыс проксей

источник