VB
Что-бы потом их отдельно обработать где-то
Size: a a a
2020 March 19
AR
RetryMiddleware уже их отлавливает, сабклассни его
VB
спасибо
P
Парни, такой вопрос.
Нужно спарсить сайт statonline и вытащить оттуда домены. Если сохранить веб-страницу в html файл и парсить ее, то все работает отлично, но если я пытаюсь вытащить html с помощью
html = requests.get(statonline.ru).text
То возвращается не вся html станица, а лишь какая-то ее часть. Как вытащить всю страницу целиком? Кто-то сталкивался с подобным?
Нужно спарсить сайт statonline и вытащить оттуда домены. Если сохранить веб-страницу в html файл и парсить ее, то все работает отлично, но если я пытаюсь вытащить html с помощью
html = requests.get(statonline.ru).text
То возвращается не вся html станица, а лишь какая-то ее часть. Как вытащить всю страницу целиком? Кто-то сталкивался с подобным?
AR
конечно, остальное джсом подгружается
ww
Просто этот запрос в браузере открой, вернёт json ?
когда нажымаю на json файл в анализе сети, на странице и смотрю ответ, то там все данные стоят. а когда открываю файл, он почти пустой
VB
import loggingПонадобилось мне кастомный хендлер навесить на скрапи, написал этот код в project_name.init. Но хендлер не срабатывает. Я так понимаю я получаю не того логера. Как мне получить корневой (наиболее полный) логер?
from project_name.notification import RequestsHandler, LogstashFormatter
handler = RequestsHandler()
formatter = LogstashFormatter()
handler.setFormatter(formatter)
logging.getLogger().addHandler(handler)
AR
может поможет
VB
Как выполнить обычный запрос к АПИ телеграмма к примеру вне паука? scrapy.Request() не работает, requests выдаёт в рекурсию впадает
RG
wowa wowa
когда нажымаю на json файл в анализе сети, на странице и смотрю ответ, то там все данные стоят. а когда открываю файл, он почти пустой
может там куки нужно подставлять
VB
requests будет работать
Вот что я получаю при использовании request
RecursionError: maximum recursion depth exceeded in __instancecheck__
B
Как выполнить обычный запрос к АПИ телеграмма к примеру вне паука? scrapy.Request() не работает, requests выдаёт в рекурсию впадает
callback какой?
VB
callback какой?
Не нужен
VB
Мне просто нужно отправить пост реквест
МС
Мне просто нужно отправить пост реквест
ты не из метода parse пытаешься отправить случаем? просто это дефолтный обработчик запросов. Вот и зауикливает...
если так и есть, сделай пустой метод и направь на него реквест
но это так, размышления
если так и есть, сделай пустой метод и направь на него реквест
но это так, размышления