EB
+ что будет, если сервер отдаст GET ответ, корректно ли scrapy обработает….
Size: a a a
2019 October 08
АП
Сервер не может отдать не то что ты попросил.
АП
И хед это по факту тот же гет но тела ответа нет, только заголовки.
C
почему если запускать паука из селери, он работает в 2 раза медленнее чем если паука запускать отдельно?
C
селери используют какие-то тред сейф механизмы по верх гила?
АП
селери используют какие-то тред сейф механизмы по верх гила?
Нет.
АП
И причём тут гил?
EB
И хед это по факту тот же гет но тела ответа нет, только заголовки.
так и я о томже, если сервер отдаст тело, будет ли скрапи его грузить?
АП
Сервер не может отдать тело.
C
ну это же тред сейф механизм, режет рантайм если стек переполняется
АП
Полнейший бред.
АП
Откуда ты это взял?
C
Откуда ты это взял?
где то читал
EB
Сервер не может отдать тело.
почему? мало ли как там настроили…проблема в том, что паук должен быть уневерсальным, поэтому и не могу протестировать
C
не суть, - если запускать паука таском - он работает в разы медленней? вай?
АП
почему? мало ли как там настроили…проблема в том, что паук должен быть уневерсальным, поэтому и не могу протестировать
Должно работать.
Но зачем тебе хед запрос вообще руками делать?
Но зачем тебе хед запрос вообще руками делать?
АП
не суть, - если запускать паука таском - он работает в разы медленней? вай?
Код покажи.
C
Код покажи.
всего паука? он достатчоно большой
EB
Должно работать.
Но зачем тебе хед запрос вообще руками делать?
Но зачем тебе хед запрос вообще руками делать?
проверка сайта на ошибки, нужно битые ссылки(img src) на картинки проверить, а грузить их не вариант
АП
всего паука? он достатчоно большой
Как запускаешь в селери.