Size: a a a

2019 June 30

МС

Михаил Синегубов in Scrapy
Да, вроде все дожили. Это с год назад было
источник

M

Mohamad in Scrapy
uxu
источник

M

Mohamad in Scrapy
spasibo
источник

МС

Михаил Синегубов in Scrapy
Ты в первую очередь глянь, принимает ли сайт ipv6, они намного дешевле
источник

i

ildar in Scrapy
Mohamad
24/7 парсить максимально быстро
мне вот прям боязно, зачем там мучить сервер, там наверняка как-то по-другому можно сделать, не удивлюсь, если там есть открытое API с мгновенным доступом по какому-нибудь протоколу.
источник

M

Mohamad in Scrapy
ildar
мне вот прям боязно, зачем там мучить сервер, там наверняка как-то по-другому можно сделать, не удивлюсь, если там есть открытое API с мгновенным доступом по какому-нибудь протоколу.
Нет бро) Было бы все так просто)
источник

i

ildar in Scrapy
а еще у скрапи есть режим дебага, выставь его и смотри, где у тебя задержка по-времени происходит
источник

Y

Yurii in Scrapy
Файн прокси говно какое-то иногда прокси зависают чтоли.
источник

M

Mohamad in Scrapy
Yurii
Файн прокси говно какое-то иногда прокси зависают чтоли.
Da
источник

M

Mohamad in Scrapy
Yurii
Файн прокси говно какое-то иногда прокси зависают чтоли.
Что можешь предложить  нормальное?
источник

Y

Yurii in Scrapy
Mohamad
Что можешь предложить  нормальное?
У меня проблем таких нету, мне и бесплатных хватит пока что.
источник

M

Mohamad in Scrapy
Nu ok ;(
источник

Y

Yurii in Scrapy
А так других поставщиков искать.
источник

M

Mohamad in Scrapy
Yurii
А так других поставщиков искать.
Я таких у которых цены как у файна не вижу чет
источник

Y

Yurii in Scrapy
Я себе тыщи 3 прокси рабочих наковырял.
источник

M

Mohamad in Scrapy
Yurii
Я себе тыщи 3 прокси рабочих наковырял.
Их по ходу фильтровать надо
источник

M

Mohamad in Scrapy
раз я месяцами паршу
источник

Y

Yurii in Scrapy
Mohamad
раз я месяцами паршу
Ну да. Можно фильтровать.Впринципе несложно. Вообще сколько запросов в секунду шлешь на все сайты?
источник

M

Mohamad in Scrapy
Yurii
Ну да. Можно фильтровать.Впринципе несложно. Вообще сколько запросов в секунду шлешь на все сайты?
за 10 секунд запросов 5 надо) И таких сайтов 50+
источник

M

Mohamad in Scrapy
Банить начинают после 10 с каждого айпи
источник