В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

828 membersпожаловаться на группу
2021 April 12

A

Alex in Scrapy
Я имел ввиду, что, при получении контента только с помощью requests и/или wget, класс "cbir-similar__thumb" не найдется, т.к. эти блоки генерятся динамически js-ом (не проверял, но на 90% уверен)
источник
11:22пожаловаться#1

EU

Egor Urvanov in Scrapy
Привет всем. А тут есть кто-нибудь, кто когда-нибудь делал ворк-шопы по scrapy или любым другим технологиям парсинга? Или, может, кто желает сделать что-нибудь такое?
источник
15:34пожаловаться#2

МС

Михаил Синегубов... in Scrapy
а "ворк-шоп" - это хто? 😁
источник
15:35пожаловаться#3

EU

Egor Urvanov in Scrapy
image_2021-04-12_15-36-29.png
(222.96 Кб)
источник
15:36пожаловаться#4

МС

Михаил Синегубов... in Scrapy
ыыыы, блин, тогда вряд ли.
у меня, обычно, время не бьется с массами :)
источник
15:37пожаловаться#5

EU

Egor Urvanov in Scrapy
Время под тебя будет выбрано
источник
15:39пожаловаться#6
2021 April 13

A

Artyom in Scrapy
когда  я выбираю разные города в объявлении, меняется цифра в урле. например https://shopandmall.ru/torgovye-centry?market_name=&city%5B248%5D=on&city%5B248%5D=on&sizeMin%5B0%5D=on&sizeMax%5B0%5D=on&build1=on&build2=on
как понять какой город кодируется какой цифрой?
shopandmall.ru
Аренда в торговых центрах (тц, трц, трк): цена, ставка —  снять в аренду помещения, площади в торговых центрах России | ShopAndMall
Аренда помещений в торговых центрах ✅ контакты отделов аренды и справочная информация о стоимости снятия 1 кв. м.  ✅ 1729 торговых центров в каталоге ✅ Заходите!
источник
11:34пожаловаться#7

A

Andrii in Scrapy
Методом тьіка
источник
11:38пожаловаться#8

AR

Andrey Rahmatullin in Scrapy
источник
11:41пожаловаться#9

A

Artyom in Scrapy
точно, спасибо). я просто спарсил количество объектов, а не код города)
источник
11:45пожаловаться#10

A

Artyom in Scrapy
а не подскажете как потом в урл подставлять город и его код? там надо заново экранировать или как-то по другому можно?
источник
11:46пожаловаться#11

AR

Andrey Rahmatullin in Scrapy
если не руками вставлять то и экранировать руками не надо
источник
11:46пожаловаться#12

A

Artyom in Scrapy
но в итоге должен быть какой-то маппинг в экранирование? как например получить такой урл
https://shopandmall.ru/torgovye-centry?market_name=&city[725]=on&city[725]=on&sizeMin[0]=on&sizeMax[0]=on&build1=on&build2=on
и в него уже подставлять что надо?
shopandmall.ru
Аренда в торговых центрах (тц, трц, трк): цена, ставка —  снять в аренду помещения, площади в торговых центрах России | ShopAndMall
Аренда помещений в торговых центрах ✅ контакты отделов аренды и справочная информация о стоимости снятия 1 кв. м.  ✅ 1729 торговых центров в каталоге ✅ Заходите!
источник
11:48пожаловаться#13

AR

Andrey Rahmatullin in Scrapy
ничо не понял
источник
11:48пожаловаться#14

A

Artyom in Scrapy
ну как в урл в цикле подставлять город и его код?
источник
11:50пожаловаться#15

A

Artyom in Scrapy
чтобы делать запросы для разных городов?
источник
11:51пожаловаться#16

AR

Andrey Rahmatullin in Scrapy
w3lib.url
источник
11:51пожаловаться#17

A

Alex in Scrapy
Например, в requests есть параметры params для get запросов, а для пост data. Оба принимают обычный словарь, а правильным кодированием url занимается requests. Думаю, в каждом клиенте есть нечто подобное.
источник
12:09пожаловаться#18

AR

Andrey Rahmatullin in Scrapy
если на входе урл (а что на входе нам так и не сказали), то сначала надо из урла словарь сделать
источник
12:09пожаловаться#19

A

Alex in Scrapy
Я так понял, ему надо сделать именно запрос в соответствующем виде, куда подставить некий числовой эквивалент города. Распаковать там можно и вручную, url не километровый
источник
12:11пожаловаться#20