Size: a a a

2019 August 07

B

Bulatbulat48 in Scrapy
Cyberdine Engineering🐤
если с html и css селекторами все ясно
js как забрать?
response.css(‘script’).re(…)
источник

i

ildar in Scrapy
судя по-тому, что там json-строка, может быть даже взлетит подвырезать и json.loads
источник

C

Cyberdine Engineering🐤 in Scrapy
а можно ли без открытого браузера,т.е. через паука, послать js запрос на сайт? т.е. создать имитацию нажатия кнопки
источник

C

Cyberdine Engineering🐤 in Scrapy
ildar
судя по-тому, что там json-строка, может быть даже взлетит подвырезать и json.loads
это уже позже
само собой в json завернуть нужно для удобства
источник

i

ildar in Scrapy
Cyberdine Engineering🐤
а можно ли без открытого браузера,т.е. через паука, послать js запрос на сайт? т.е. создать имитацию нажатия кнопки
можно через splash, либо посмотрев чего там яваскрипт творит, через curl to python и выполнить его действия, аля заполнить какие-то заголовки и все такое.
источник

C

Cyberdine Engineering🐤 in Scrapy
нужно нажимать кнопки. они являются триггерами для ангуляра

только после нажатия этих кнопок, данные выводятся в html
источник

C

Cyberdine Engineering🐤 in Scrapy
такая защита от скраперов
источник

C

Cyberdine Engineering🐤 in Scrapy
в самом js локально эти данные не хранятся. они запрашиваются токльо после нажатия
источник
2019 August 08

М

Мак in Scrapy
Если загружаются с хтмл сразу в теге скрипт - то агент уже объяснил как их взять. А если подгружаются позже - значит xhr запрос перехватить можно
источник

М

Мак in Scrapy
народ, в какую БД проще всего прикрутить вывод данных?
источник

iz

izzz zzi in Scrapy
Мак
народ, в какую БД проще всего прикрутить вывод данных?
Думаю разницы нет особой
источник

К

Кирилл in Scrapy
Наверное mongodb, из-за отсутствия структуры. А так в любую
источник

ВЛ

Владислав Литвинюк in Scrapy
Мак
народ, в какую БД проще всего прикрутить вывод данных?
BQ
источник

М

Мак in Scrapy
монго не подойдет наверное...
источник

М

Мак in Scrapy
надо реляционную
источник

К

Кирилл in Scrapy
Тогда вообще без разницы, если дело в простоте
источник

МС

Михаил Синегубов in Scrapy
Мак
народ, в какую БД проще всего прикрутить вывод данных?
в какую удобнее и какую больше знаешь
источник

М

Мак in Scrapy
да никакую не знаю толком, в том то и дело. не было такой надобности ранее
источник

МС

Михаил Синегубов in Scrapy
мне, так намного проще в SQL базу заливать чем в монгу
источник

К

Кирилл in Scrapy
Мак
да никакую не знаю толком, в том то и дело. не было такой надобности ранее
Тогда postgres и не парься
источник