МС
Size: a a a
2020 March 26
🎅B
Я зашел в
setting.pyи добавил туда свой
headers. Я правильно сделал или так делать не следует?
🎅B
Что за connect
Это же просто название функции
🎅B
Ее вроде можно как угодно называть, нет?
AR
Я зашел в
setting.pyи добавил туда свой
headers. Я правильно сделал или так делать не следует?
куда добавил и как
AR
и зачем
AR
USER_AGENT это отдельная настройка если что
🎅B
AR
ну хоть без Content-Length
AR
я кстати не знаю у кого тут приоритет, у этого или у USER_AGENT
🎅B
Ну, надеюсь я каких-то принципов scrapy не нарушил
🎅B
я кстати не знаю у кого тут приоритет, у этого или у USER_AGENT
Не могу сказать точно, но когда я очистил поле
DEFAULT_REQUEST_HEADERSи добавил user-agent в
USER_AGENTвсе заработало и сайт перестал выдавать ошибку 404
D
Добрый день, уважаемые доны!
Помогите, пожалуйста, разобраться:
в книге Димитриоса (2016 г) JavaScript парситься через json.loads
а в интернетах советуют использовать Splash.
Подскажите, пожалуйста, в сегодняшних реалиях стоит разбираться в первом или не тратить время и изучать сразу второй вариант?
Помогите, пожалуйста, разобраться:
в книге Димитриоса (2016 г) JavaScript парситься через json.loads
а в интернетах советуют использовать Splash.
Подскажите, пожалуйста, в сегодняшних реалиях стоит разбираться в первом или не тратить время и изучать сразу второй вариант?
AR
стоит конечно
К
через json.loads парситься json. Если ты открывашь страницу и она откуда-то запрашивает данные, которые возвращаются в json, тогда это хороший случай и ты можешь сразу же использавать этот url.
Бывают же моменты, когда необходимо выполнить js на странице, для этого можно использовать splash
Бывают же моменты, когда необходимо выполнить js на странице, для этого можно использовать splash
D
Понял, спасибо за ответы!
Может у кого есть на примете сайты, на которых есть javaScript и можно потренироваться.
А то я на сильно сложные натыкаюсь
Может у кого есть на примете сайты, на которых есть javaScript и можно потренироваться.
А то я на сильно сложные натыкаюсь
К
http://toscrape.com/ там есть
МС
хм, на тоскрейп есть обработка текста через JS? или речь о ajax подгрузке?