Size: a a a

2020 April 13

B

Bulatbulat48 in Scrapy
Сашка Александер
ну он тогда выведет ответ что я приводил, а мне ссылку надо, чтобы перелистнуть страничку, там еще вместо json  - json+ld
getall это лист скорее всего,
tag = soup.find_all('a', attrs={'data-selenium' : 'listingPagingPageNext'})
tag[0][‘data-selenium’]
источник

🎅B

🎅 Austin Bluethy in Scrapy
Здравствуйте, проблема со scrapyd

Когда ввожу
curl http://localhost:6800/addversion.json -d project=really_parsing


Появляется это
{"node_name": "USER-\u041f\u041a", "status": "error", "message": "b'egg'"}
источник
2020 April 14

VB

Vladyslav Babych in Scrapy
Подскажите пожалуйста, если я при каждом айтеме на него  сохранение в БД создаю новый тред. То в и того колличество конкурентных запросов делиться с ними?
источник

К

Кирилл in Scrapy
Да
источник

VB

Vladyslav Babych in Scrapy
Тогда лучше просто всегда держать сессию открытой?
источник

VB

Vladyslav Babych in Scrapy
мне обязательно нужно юзать алхимию
источник

К

Кирилл in Scrapy
Лучше виртуальную машину каждый раз поднимай чтоб сохранить итем *сарказм*
источник

К

Кирилл in Scrapy
Vladyslav Babych
Тогда лучше просто всегда держать сессию открытой?
Конечно
источник

VB

Vladyslav Babych in Scrapy
А от этого никаких проблем не будет?
источник

К

Кирилл in Scrapy
Если тебе с тредами нет проблем, то ты будешь в восторге
источник

VB

Vladyslav Babych in Scrapy
Кирилл
Если тебе с тредами нет проблем, то ты будешь в восторге
Но получается что если посреди работы что-то сломается, то я теряю все данные?
источник

AR

Andrey Rahmatullin in Scrapy
я кстати не понял что значит "То в и того колличество конкурентных запросов делиться с ними?", но раз на это уже ответили, то ок
источник

AR

Andrey Rahmatullin in Scrapy
Vladyslav Babych
Но получается что если посреди работы что-то сломается, то я теряю все данные?
автокоммит
источник

VB

Vladyslav Babych in Scrapy
Andrey Rahmatullin
я кстати не понял что значит "То в и того колличество конкурентных запросов делиться с ними?", но раз на это уже ответили, то ок
я оборачиваю функцию сохранения что-бы она исполнялась в отдельном потоке
источник

И

Илья in Scrapy
response.xpath('//a[contains(@href, "image")]/text()')     есть способ внутри contains засунуть регулярку ?
источник

МС

Михаил Синегубов in Scrapy
Илья
response.xpath('//a[contains(@href, "image")]/text()')     есть способ внутри contains засунуть регулярку ?
источник

И

Илья in Scrapy
источник

И

Илья in Scrapy
тут вроде лучше рассписано
источник

И

Илья in Scrapy
a.xpath('.//th[text()[re:test(., "\d[.]\d")]]')
источник

И

Илья in Scrapy
как то так для моих нужд получилось, до конца не понимаю как это работает, но работает
источник