Size: a a a

2019 June 30

i

ildar in Scrapy
на виртуалке удалось запустить, выдает на ней такое:
https://i.imgur.com/G4sswaA.png
источник

M

Mohamad in Scrapy
Alexander Serebrov
В сеттингс есть auto_throttling - попробуй его отключить :) по умолчанию скрейпи менеджит делеи между реквестами чтобы не перегружать сайты, которые ты парсишь
отключил его давно ещё
источник

M

Mohamad in Scrapy
Alexander Serebrov
И остальное попробуй
Сейчас
источник

M

Mohamad in Scrapy
ildar
это не нормально, может у тебя в сеттингсах там к примеру delay стоит, поищи еще sleep по коду. и все слова delay
Искал - нету, сейчас перепроверю
источник

AS

Alexander Serebrov in Scrapy
И не работай по воскресеньям, надо же и отдыхать когда-то 🙂
источник

M

Mohamad in Scrapy
Alexander Serebrov
И не работай по воскресеньям, надо же и отдыхать когда-то 🙂
...?
источник

AS

Alexander Serebrov in Scrapy
Это я так, прост)
источник

M

Mohamad in Scrapy
Кстати у меня у одного в grequests память течет?
источник

МС

Михаил Синегубов in Scrapy
Mohamad
файн обычные, пинг 100-150 максимум
Файнпрокси заспамленные доусирачки. Их все кому не лень пользуют. Смысл есть только для не популярных сайтов
источник

M

Mohamad in Scrapy
Михаил Синегубов
Файнпрокси заспамленные доусирачки. Их все кому не лень пользуют. Смысл есть только для не популярных сайтов
К примеру скажешь кого-нить?
источник

M

Mohamad in Scrapy
не знаю кого юзать тогда шоль
источник

МС

Михаил Синегубов in Scrapy
Proxys.io вроде так, щас не у компа.
Цены кусачие, но качество по лучше.
источник

M

Mohamad in Scrapy
мне 1000 штук надо, US, и чтобы лучше файна
источник

МС

Михаил Синегубов in Scrapy
Mohamad
мне 1000 штук надо, US, и чтобы лучше файна
В качестве примера, я на этих проксях кошмарил Яндекс. Штук 20 брал, 10 потоков - практически без прокси
источник

МС

Михаил Синегубов in Scrapy
Количество не всегда перебивает качество
источник

M

Mohamad in Scrapy
Прсото мне надо
источник

M

Mohamad in Scrapy
24/7 парсить максимально быстро
источник

МС

Михаил Синегубов in Scrapy
Ага, Яндекс кошмарился с неделю 24/7
источник

M

Mohamad in Scrapy
Михаил Синегубов
Ага, Яндекс кошмарился с неделю 24/7
20 штук жили все?
источник

МС

Михаил Синегубов in Scrapy
На ipv6 инста несколько суток по 6 тыс запросов в минуту жила на 50 проксях
источник