В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

436 membersпожаловаться на группу
2020 April 14

D

D in Scrapy
🎅 Austin Bluethy
Здравствуйте, проблема со scrapyd

Когда ввожу 
curl http://localhost:6800/addversion.json -d project=really_parsing


Появляется это
{"node_name": "USER-\u041f\u041a", "status": "error", "message": "b'egg'"}
У меня скрапи через Локал хост никогда не подключался ни к MySQL, ни к splash. Я смотрел ip в контейнере и его писал. (Если я правильно понял вопрос)
источник
14:36пожаловаться#1

🎅B

🎅 Austin Bluethy in Scrapy
D
У меня скрапи через Локал хост никогда не подключался ни к MySQL, ни к splash. Я смотрел ip в контейнере и его писал. (Если я правильно понял вопрос)
Не знаю. Мб попробовать юзать обычный скрапи апи? Просто я не очень понял зачем нужен скрапид. Да, он даёт тебе локалхост, в который можно положить несколько пауков, а потом все это кинуть на сервер, но нельзя ли сразу кинуть пауков на сервер, или обязательно нужен контейнер скрапид?
источник
14:39пожаловаться#2

К

Кирилл in Scrapy
Не используй инструменты, если не понимаешь зачем они тебе нужны
источник
14:41пожаловаться#3

К

Кирилл in Scrapy
Значит не нужны
источник
14:41пожаловаться#4

Д

Данил in Scrapy
Как спарсить сайт, если у него на некоторых товарах подгружаются разные блоки-вкладки, которых у других товаров нет?
источник
17:50пожаловаться#5

М

Мак in Scrapy
перебор в цикле и запись в словарь, а потом get или pop из словаря
источник
17:52пожаловаться#6

AR

Andrey Rahmatullin in Scrapy
Данил
Как спарсить сайт, если у него на некоторых товарах подгружаются разные блоки-вкладки, которых у других товаров нет?
в чём именно проблема?
источник
17:55пожаловаться#7

Д

Данил in Scrapy
Andrey Rahmatullin
в чём именно проблема?
Выявить контейнеры с контентом и спарсить
источник
18:12пожаловаться#8

AR

Andrey Rahmatullin in Scrapy
берёшь да выявляешь, потом берёшь да парсишь
источник
18:12пожаловаться#9

B

Bulatbulat48 in Scrapy
Данил
Как спарсить сайт, если у него на некоторых товарах подгружаются разные блоки-вкладки, которых у других товаров нет?
xhr?
источник
18:16пожаловаться#10

iz

izzz zzi in Scrapy
Andrey Rahmatullin
берёшь да выявляешь, потом берёшь да парсишь
😀хороший совет
источник
18:23пожаловаться#11

VB

Vladyslav Babych in Scrapy
Подскажите как можно максимально быстро ускорить сохранение в БД
источник
18:25пожаловаться#12

Д

Данил in Scrapy
Bulatbulat48
xhr?
Там не все(
источник
18:25пожаловаться#13

Д

Данил in Scrapy
izzz zzi
😀хороший совет
Единственный варик
источник
18:25пожаловаться#14

AR

Andrey Rahmatullin in Scrapy
Данил
Там не все(
а где остальное?
источник
18:28пожаловаться#15

Д

Данил in Scrapy
Andrey Rahmatullin
а где остальное?
Блоки генерятся на стороне сервера, в xhr вообще не то, хотя какая-то инфа возможно пригодится. Но я пока не вникал)
источник
18:29пожаловаться#16

AR

Andrey Rahmatullin in Scrapy
если они есть в хтмлке тогда какие вообще проблемы
источник
18:29пожаловаться#17

🎅B

🎅 Austin Bluethy in Scrapy
Что лучше юзать селекторы или lxml? Или вообще пофиг?
источник
18:42пожаловаться#18

К

Кирилл in Scrapy
в lxml есть селекторы...
источник
18:48пожаловаться#19

🎅B

🎅 Austin Bluethy in Scrapy
Но что будет юзать удобнее? Или тут на вкус и цвет?
источник
18:48пожаловаться#20