Size: a a a

2021 April 07

r

rink0 in Scrapy
Первый раз с таким сталкиваюсь, может кто шарит, подскажите?

Парсю один интернет магаз, а именно товары.
На сайте товары сразу загруженны(т.е нет такого что листаешь вниз, а оно генерирует дальше товары. И проверял html код смотрел, изначально все товары есть и ничего не подргружается. Я сделал парсинг этой же страницы и запихнул в html, открыл в браузере а там и половины товаров нет
источник

r

rink0 in Scrapy
при этом есть div'ы под них, но они по какой то причине просто пустые
источник

r

rink0 in Scrapy
и в голове не укладывается что это может быть
источник

К

Кирилл in Scrapy
Проверь вебсокет, и локальное хранилище. Может быть оно уже было загружено до этого
источник

МС

Михаил Синегубов... in Scrapy
кинь ссыль, может что то увидем
источник

A

Andrii in Scrapy
Отключи джс
источник

r

rink0 in Scrapy
источник

r

rink0 in Scrapy
ток я пишу в связке requests + bs4(заставили, не мое желание)
источник

AR

Andrey Rahmatullin in Scrapy
" сделал парсинг этой же страницы и запихнул в html, открыл в браузере а там и половины товаров нет" это как?
источник

r

rink0 in Scrapy
да вот как
источник

МС

Михаил Синегубов... in Scrapy
пофиг, там ajax
ROST https://www.etsy.com/api/v3/ajax/bespoke/member/neu/specs/search_async_recs
с фуевой кучей параметров
источник

r

rink0 in Scrapy
реально как то через js подгружается
источник

r

rink0 in Scrapy
я js оффнул, и вот такая картина
источник

AR

Andrey Rahmatullin in Scrapy
ну да
источник

r

rink0 in Scrapy
странно, не заметил
источник

МС

Михаил Синегубов... in Scrapy
смотри в  Network "инструментов разработчика"
источник

AR

Andrey Rahmatullin in Scrapy
то что там 52 товара лежат в хтмлке это видимо просто так
источник

AR

Andrey Rahmatullin in Scrapy
а, не лежат
источник

r

rink0 in Scrapy
раньше аякс только через html видел, не знал что там тоже можно увидеть, спс
источник

AR

Andrey Rahmatullin in Scrapy
это пустые дивы
источник