К
.body по дефолту был, потом добавили .textSize: a a a
2020 March 23
B
когда скрапи был на втором питоне
AR
body_as_unicode() ещё был
A
Ну джейсончик я через body делаю, думаю не особо плохо
A
Правда с спецсимволами меня уже достало ((
СТ
Всем спасибо кто отписался ) у меня Линукс ) в плане планировщика я смотрел на scrapy-do, гляну cron )
AR
зачем scrapy-do без scrapy
СТ
Ну мне до этого не приходила в голову идея с curl) однако, там такая тема что некоторые файлы json не так просто получить от сервера, просто по ссылке они не открываются - нужно ему передать правильный хэдер и пэйлоад. Не знаю способен ли curl на такое, почекаю )
AR
способен конечно
AR
он почти всё умеет
AR
в браузере даже можно сделать copy as curl и убрать лишнее
СТ
Спасибо за совет )
A
Вопрос по reddit'y. Есть их json. Как мне сделать итеррацию по постах?
json['posts'][????]
A
AR
Andrii
Вопрос по reddit'y. Есть их json. Как мне сделать итеррацию по постах?
json['posts'][????]
это всего лишь вложенные словари и списки, базовые питоньи штуки
РТ
не подскажете как CrawlSpider обязать бегать по всему списку allowed_domains и start_urls? Он поверхностно по нескольким доменам пробегает и начинает копать в один вглубь, а хотелось бы чтобы равномерно по всем доменам пробегал...