Size: a a a

2020 October 22

S

SoHard 🎄 in Scrapy
Лев Гареев
все, мой комп становится сервером
стабильная нагрузка лучше чем включение выключение
источник

S

SoHard 🎄 in Scrapy
главное чтобы охлаждение нормально работало
источник

ЛГ

Лев Гареев in Scrapy
SoHard 🎄
главное чтобы охлаждение нормально работало
у меня 6 на корпусе вентилей и очень хороший на проце, для игр же когда-то собиралось
источник

i

i in Scrapy
Железо не человек. Если температурный режим устаканился оно даже дольше проработает, особенно если к нему удаленно коннектиться
источник

ЛГ

Лев Гареев in Scrapy
вот интернет, это да. у меня ночью упал парсер из-за падения провайдера, а у меня просто было кравлом запущено
источник

AR

Andrey Rahmatullin in Scrapy
Stepan Smirnov
а если 3 млн? Домашняя машина не вариант, к сожалению
это всё от сайтов зависит в первую очередь
источник

МС

Михаил Синегубов... in Scrapy
Stepan Smirnov
а если 3 млн? Домашняя машина не вариант, к сожалению
Вопрос в том, что потянет сайт. У меня и по 2-3 тыс запросов в минуту было
источник

AR

Andrey Rahmatullin in Scrapy
а так да, берёшь да тестишь
источник

МС

Михаил Синегубов... in Scrapy
Если грубо, то да. Запускаешь у себя на компе парсер и смотришь что будет😄
источник

AR

Andrey Rahmatullin in Scrapy
и для "отправить запросы" коненчо никакая мощность сама по себе не нужна
источник

SS

Stepan Smirnov in Scrapy
Михаил Синегубов
Вопрос в том, что потянет сайт. У меня и по 2-3 тыс запросов в минуту было
Amazon
источник

AR

Andrey Rahmatullin in Scrapy
что амазон
источник

AR

Andrey Rahmatullin in Scrapy
не даст тебе амазон столько запросов отправить с одного IP
источник

ЛГ

Лев Гареев in Scrapy
Andrey Rahmatullin
что амазон
амазон парсить хочет
источник

AR

Andrey Rahmatullin in Scrapy
тем более в сутки
источник

SS

Stepan Smirnov in Scrapy
Andrey Rahmatullin
не даст тебе амазон столько запросов отправить с одного IP
зачем одно IP, начальник. Штук 500 резидентских проксей, наверное
источник

AR

Andrey Rahmatullin in Scrapy
и скорость упрётся в скорость проксей
источник

AR

Andrey Rahmatullin in Scrapy
ну камон
источник

AR

Andrey Rahmatullin in Scrapy
(зачем тогда было отвечать что амазон, если запросы будут слаться в прокси)
источник

A

Andrii in Scrapy
Делаеш вот так и парсиш
источник