В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

833 membersпожаловаться на группу
2021 April 07

r

rink0 in Scrapy
Первый раз с таким сталкиваюсь, может кто шарит, подскажите?

Парсю один интернет магаз, а именно товары.
На сайте товары сразу загруженны(т.е нет такого что листаешь вниз, а оно генерирует дальше товары. И проверял html код смотрел, изначально все товары есть и ничего не подргружается. Я сделал парсинг этой же страницы и запихнул в html, открыл в браузере а там и половины товаров нет
источник
17:11пожаловаться#1

r

rink0 in Scrapy
при этом есть div'ы под них, но они по какой то причине просто пустые
источник
17:12пожаловаться#2

r

rink0 in Scrapy
и в голове не укладывается что это может быть
источник
17:12пожаловаться#3

К

Кирилл in Scrapy
Проверь вебсокет, и локальное хранилище. Может быть оно уже было загружено до этого
источник
17:15пожаловаться#4

МС

Михаил Синегубов... in Scrapy
кинь ссыль, может что то увидем
источник
17:15пожаловаться#5

A

Andrii in Scrapy
Отключи джс
источник
17:16пожаловаться#6

r

rink0 in Scrapy
https://www.etsy.com/search?q=knick+knacks&explicit=1&order=highest_reviews&page=1&ref=pagination
Etsy
Knick knacks | Etsy
Check out our knick knacks selection for the very best in unique or custom, handmade pieces from our figurines & knick knacks shops.
источник
17:16пожаловаться#7

r

rink0 in Scrapy
ток я пишу в связке requests + bs4(заставили, не мое желание)
источник
17:17пожаловаться#8

AR

Andrey Rahmatullin in Scrapy
" сделал парсинг этой же страницы и запихнул в html, открыл в браузере а там и половины товаров нет" это как?
источник
17:18пожаловаться#9

r

rink0 in Scrapy
да вот как
источник
17:19пожаловаться#10

МС

Михаил Синегубов... in Scrapy
пофиг, там ajax
ROST https://www.etsy.com/api/v3/ajax/bespoke/member/neu/specs/search_async_recs
с фуевой кучей параметров
источник
17:19пожаловаться#11

r

rink0 in Scrapy
реально как то через js подгружается
источник
17:19пожаловаться#12

r

rink0 in Scrapy
я js оффнул, и вот такая картина
источник
17:19пожаловаться#13

AR

Andrey Rahmatullin in Scrapy
ну да
источник
17:20пожаловаться#14

r

rink0 in Scrapy
странно, не заметил
источник
17:20пожаловаться#15

МС

Михаил Синегубов... in Scrapy
смотри в  Network "инструментов разработчика"
источник
17:20пожаловаться#16

AR

Andrey Rahmatullin in Scrapy
то что там 52 товара лежат в хтмлке это видимо просто так
источник
17:20пожаловаться#17

AR

Andrey Rahmatullin in Scrapy
а, не лежат
источник
17:20пожаловаться#18

r

rink0 in Scrapy
раньше аякс только через html видел, не знал что там тоже можно увидеть, спс
источник
17:20пожаловаться#19

AR

Andrey Rahmatullin in Scrapy
это пустые дивы
источник
17:20пожаловаться#20