Size: a a a

2020 November 09

AR

Andrey Rahmatullin in Scrapy
чо
источник

V

Victor in Scrapy
источник

V

Victor in Scrapy
Вот такой запрос обрабатывается, при нажатии на кнопку
источник

МС

Михаил Синегубов... in Scrapy
Victor
Вот такой запрос обрабатывается, при нажатии на кнопку
вапщета, XHR, это POST запрос. Я даже хз чем он отличается от "обычного" запроса
источник

V

Victor in Scrapy
Какие варианты решения могут быть?
Я же не смогу эти хеши идентификации генерировать
источник

AR

Andrey Rahmatullin in Scrapy
почему нет
источник

V

Victor in Scrapy
Не сталкивался с таким
источник

B

Bulatbulat48 in Scrapy
Victor
Какие варианты решения могут быть?
Я же не смогу эти хеши идентификации генерировать
посмотри может они на странице где-то есть
источник

S

SoHard 🎄 in Scrapy
Bulatbulat48
посмотри может они на странице где-то есть
Или их вообще не надо
источник

V

Victor in Scrapy
Только пост запросы отправлять?
Взаимодействие селениума с элементами не получится?
источник

B

Bulatbulat48 in Scrapy
Victor
Только пост запросы отправлять?
Взаимодействие селениума с элементами не получится?
тут не так много разговаривающих спецов по селениуму
источник

A

Andrii in Scrapy
а https://github.com/crawlab-team/crawlab кто-то юзал? пронс-конс против скрейпидвеб?
источник

A

AstralRomance in Scrapy
Что делать, если паук говорит, что ловит 301, но страница открывается по ссылке из терминала, рядом с которой, собственно, про 301 написано? Страница есть, а ответа для павука - нет.
источник

AR

Andrey Rahmatullin in Scrapy
чо
источник

AR

Andrey Rahmatullin in Scrapy
паука редиректит, а браузер нет?
источник

AR

Andrey Rahmatullin in Scrapy
куда хоть редиректит-то?
источник

A

AstralRomance in Scrapy
На страницу с той же ссылкой. Он просто редиректит на страницу, в ссылке которой есть "/" в конце. Причем, делает это не на всех ссылках.
источник

A

AstralRomance in Scrapy
В питоне рядом проверил, ссылки только наличием слеша отличаются.
DEBUG: Redirecting (301) to <GET https://2019.jokerconf.com/2019/talks/3cesz7vgx6oybg3mn3lsf/> from <GET https://2019.jokerconf.com/2019/talks/3cesz7vgx6oybg3mn3lsf>
источник

S

SoHard 🎄 in Scrapy
AstralRomance
В питоне рядом проверил, ссылки только наличием слеша отличаются.
DEBUG: Redirecting (301) to <GET https://2019.jokerconf.com/2019/talks/3cesz7vgx6oybg3mn3lsf/> from <GET https://2019.jokerconf.com/2019/talks/3cesz7vgx6oybg3mn3lsf>
Ну так делай все ссылки со слешем
источник

A

AstralRomance in Scrapy
SoHard 🎄
Ну так делай все ссылки со слешем
Это, в целом, имеет смысл и даже решает проблему, но, как говорится "почему так"?
источник