AR
я писал что со скрапи никакого "клиент отсылает серверу список cipher suit'ов из tls1.3, сервер в ответ его посылает нахрен" нет, да и быть не может там такого, ведь чтобы получить 403 клиент должен установить тлс-коннект
Size: a a a
2020 October 22
СТ
я писал что со скрапи никакого "клиент отсылает серверу список cipher suit'ов из tls1.3, сервер в ответ его посылает нахрен" нет, да и быть не может там такого, ведь чтобы получить 403 клиент должен установить тлс-коннект
ок, теперь понял
SS
а сколько запросов в день можно отправить с одного сервера у которого 1 ядро и 512 МБ памяти (как элемент scrapyd cluster)?
AR
вопрос тупой, но вообще почти нисколько, в такую память влезет только очень маленький спайдер
SS
а если 1 ГБ памяти?
SS
Правильный вопрос наверное - сколько нужно серверов (можно наверное более дорогие с докером использовать) чтобы отправить 1.000.000 запросов за 24 часа?
ЛГ
Правильный вопрос наверное - сколько нужно серверов (можно наверное более дорогие с докером использовать) чтобы отправить 1.000.000 запросов за 24 часа?
ghbvthyj 10 d ctreyle
ЛГ
примерно 10 в секунду?)
S
Правильный вопрос наверное - сколько нужно серверов (можно наверное более дорогие с докером использовать) чтобы отправить 1.000.000 запросов за 24 часа?
на один сайт?
МС
Правильный вопрос наверное - сколько нужно серверов (можно наверное более дорогие с докером использовать) чтобы отправить 1.000.000 запросов за 24 часа?
1 000 000 / (24*60) = 695 запросов в минуту
вааще не вопрос
вааще не вопрос
МС
на домашней машине средняя скорость на среднем сайте :)
SS
на один сайт?
Amazon
ЛГ
на домашней машине средняя скорость на среднем сайте :)
так у тебя машина же хорошая)
S
Amazon
а ну это еще лан)
ЛГ
Ты можешь создать на своей машине виртуалку со своим спайдером выделить ей память, ядро и экспериментировать на своем спайдеие
Я вот думал, кстати, но железо без сна не устает?
S
Я вот думал, кстати, но железо без сна не устает?
нет
SS
1 000 000 / (24*60) = 695 запросов в минуту
вааще не вопрос
вааще не вопрос
а если 3 млн? Домашняя машина не вариант, к сожалению
ЛГ
нет
все, мой комп становится сервером
ЛГ
продам серверное место