Телеграмм чат группы scrapy

https://docs.scrapy.org/en/latest/topics/dynamic-content.html

17:20пожаловаться #1

Andrey Rahmatullin in Scrapy

17:21пожаловаться #2

Andrey Rahmatullin in Scrapy

"через хтмл" аякс всё-таки увидеть обычно нельзя

17:21пожаловаться #3

да я один раз на самом деле сталкивался, и там прям видно было в html что подругражается через аякс, ссчитай написано было :D

17:21пожаловаться #4

МС

там можно, скорее всего, и без ajax парсить, если из каталога нужны только ссылки

17:23пожаловаться #5

МС

ссылки на товары есть в странце, в пустых дивах

17:23пожаловаться #6

у меня в скаченном hmtl они пустые

17:24пожаловаться #7

ток это li, но дивов там ссылками я не нашёл

17:25пожаловаться #8

МС

поищи

data-search-skeleton-listing-card="true"

17:27пожаловаться #9

МС

и чуть ниже ссылка будет. по крайней мере, у меня на 5 странице есть.
тока перепроверь, идет ротация ссылок или нет. А то, может, оно одно и то-же отдает :))

17:29пожаловаться #10

так а с requests можно будет с этим аяксом справиться?

17:29пожаловаться #11

спасибо

17:29пожаловаться #12

МС

гугли как отправить POST запрос, смотри что у тебя отправляет браузер и делай то же самое

17:30пожаловаться #13

понял

17:32пожаловаться #14

An Allford in Scrapy

я использовал внутреннюю апишку, нормально всё вроде. В гитхабе есть ещё парсер гуглплея, там можно найти все параметры необходимые и запросы, которые отправляются

17:45пожаловаться #15

МС

не бросишь в меня ссылкой на репу? если она под рукой