Size: a a a

2020 April 14

D

D in Scrapy
🎅 Austin Bluethy
Здравствуйте, проблема со scrapyd

Когда ввожу
curl http://localhost:6800/addversion.json -d project=really_parsing


Появляется это
{"node_name": "USER-\u041f\u041a", "status": "error", "message": "b'egg'"}
У меня скрапи через Локал хост никогда не подключался ни к MySQL, ни к splash. Я смотрел ip в контейнере и его писал. (Если я правильно понял вопрос)
источник

🎅B

🎅 Austin Bluethy in Scrapy
D
У меня скрапи через Локал хост никогда не подключался ни к MySQL, ни к splash. Я смотрел ip в контейнере и его писал. (Если я правильно понял вопрос)
Не знаю. Мб попробовать юзать обычный скрапи апи? Просто я не очень понял зачем нужен скрапид. Да, он даёт тебе локалхост, в который можно положить несколько пауков, а потом все это кинуть на сервер, но нельзя ли сразу кинуть пауков на сервер, или обязательно нужен контейнер скрапид?
источник

К

Кирилл in Scrapy
Не используй инструменты, если не понимаешь зачем они тебе нужны
источник

К

Кирилл in Scrapy
Значит не нужны
источник

Д

Данил in Scrapy
Как спарсить сайт, если у него на некоторых товарах подгружаются разные блоки-вкладки, которых у других товаров нет?
источник

М

Мак in Scrapy
перебор в цикле и запись в словарь, а потом get или pop из словаря
источник

AR

Andrey Rahmatullin in Scrapy
Данил
Как спарсить сайт, если у него на некоторых товарах подгружаются разные блоки-вкладки, которых у других товаров нет?
в чём именно проблема?
источник

Д

Данил in Scrapy
Andrey Rahmatullin
в чём именно проблема?
Выявить контейнеры с контентом и спарсить
источник

AR

Andrey Rahmatullin in Scrapy
берёшь да выявляешь, потом берёшь да парсишь
источник

B

Bulatbulat48 in Scrapy
Данил
Как спарсить сайт, если у него на некоторых товарах подгружаются разные блоки-вкладки, которых у других товаров нет?
xhr?
источник

iz

izzz zzi in Scrapy
Andrey Rahmatullin
берёшь да выявляешь, потом берёшь да парсишь
😀хороший совет
источник

VB

Vladyslav Babych in Scrapy
Подскажите как можно максимально быстро ускорить сохранение в БД
источник

Д

Данил in Scrapy
Там не все(
источник

Д

Данил in Scrapy
izzz zzi
😀хороший совет
Единственный варик
источник

AR

Andrey Rahmatullin in Scrapy
Данил
Там не все(
а где остальное?
источник

Д

Данил in Scrapy
Andrey Rahmatullin
а где остальное?
Блоки генерятся на стороне сервера, в xhr вообще не то, хотя какая-то инфа возможно пригодится. Но я пока не вникал)
источник

AR

Andrey Rahmatullin in Scrapy
если они есть в хтмлке тогда какие вообще проблемы
источник

🎅B

🎅 Austin Bluethy in Scrapy
Что лучше юзать селекторы или lxml? Или вообще пофиг?
источник

К

Кирилл in Scrapy
в lxml есть селекторы...
источник

🎅B

🎅 Austin Bluethy in Scrapy
Но что будет юзать удобнее? Или тут на вкус и цвет?
источник