Телеграмм чат группы scrapy_python страница 1378

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

436 membersпожаловаться на группу

2020 April 13

B

Bulatbulat48 in Scrapy

Сашка Александер

ну он тогда выведет ответ что я приводил, а мне ссылку надо, чтобы перелистнуть страничку, там еще вместо json - json+ld

getall это лист скорее всего,

tag = soup.find_all('a', attrs={'data-selenium' : 'listingPagingPageNext'})
tag[0][‘data-selenium’]

источник

16:20пожаловаться #1

🎅B

🎅 Austin Bluethy in Scrapy

Здравствуйте, проблема со scrapyd

Когда ввожу

curl http://localhost:6800/addversion.json -d project=really_parsing

Появляется это

{"node_name": "USER-\u041f\u041a", "status": "error", "message": "b'egg'"}

источник

20:54пожаловаться #2

2020 April 14

VB

Vladyslav Babych in Scrapy

Подскажите пожалуйста, если я при каждом айтеме на него сохранение в БД создаю новый тред. То в и того колличество конкурентных запросов делиться с ними?

источник

11:38пожаловаться #3

К

Кирилл in Scrapy

Да

источник

11:42пожаловаться #4

VB

Vladyslav Babych in Scrapy

Тогда лучше просто всегда держать сессию открытой?

источник

11:42пожаловаться #5

VB

Vladyslav Babych in Scrapy

мне обязательно нужно юзать алхимию

источник

11:43пожаловаться #6

К

Кирилл in Scrapy

Лучше виртуальную машину каждый раз поднимай чтоб сохранить итем *сарказм*

источник

11:44пожаловаться #7

К

Кирилл in Scrapy

Vladyslav Babych

Тогда лучше просто всегда держать сессию открытой?

Конечно

источник

11:44пожаловаться #8

VB

Vladyslav Babych in Scrapy

А от этого никаких проблем не будет?

источник

11:44пожаловаться #9

К

Кирилл in Scrapy

Если тебе с тредами нет проблем, то ты будешь в восторге

источник

11:45пожаловаться #10

VB

Vladyslav Babych in Scrapy

Если тебе с тредами нет проблем, то ты будешь в восторге

Но получается что если посреди работы что-то сломается, то я теряю все данные?

источник

12:04пожаловаться #11

AR

Andrey Rahmatullin in Scrapy

я кстати не понял что значит "То в и того колличество конкурентных запросов делиться с ними?", но раз на это уже ответили, то ок

источник

12:05пожаловаться #12

AR

Andrey Rahmatullin in Scrapy

Vladyslav Babych

Но получается что если посреди работы что-то сломается, то я теряю все данные?

автокоммит

источник

12:05пожаловаться #13

VB

Vladyslav Babych in Scrapy

Andrey Rahmatullin

я кстати не понял что значит "То в и того колличество конкурентных запросов делиться с ними?", но раз на это уже ответили, то ок

я оборачиваю функцию сохранения что-бы она исполнялась в отдельном потоке

источник

12:10пожаловаться #14

И

Илья in Scrapy

response.xpath('//a[contains(@href, "image")]/text()') есть способ внутри contains засунуть регулярку ?

источник

12:15пожаловаться #15

МС

Михаил Синегубов in Scrapy

Илья

response.xpath('//a[contains(@href, "image")]/text()') есть способ внутри contains засунуть регулярку ?

https://stackoverflow.com/questions/21405267/how-to-use-regex-in-xpath-contains-function

оно?

источник

12:17пожаловаться #16

И

Илья in Scrapy

https://stackoverflow.com/questions/45384382/scrapy-select-xpath-with-a-regular-expression

Scrapy - select xpath with a regular expression

Part of the html that I am scraping looks like this:

<span class="headline" id="Profile">Profile
Name Albert Einste...

источник

12:44пожаловаться #17

И

Илья in Scrapy

тут вроде лучше рассписано

источник

12:44пожаловаться #18

И

Илья in Scrapy

a.xpath('.//th[text()[re:test(., "\d[.]\d")]]')

источник

13:27пожаловаться #19

И

Илья in Scrapy

как то так для моих нужд получилось, до конца не понимаю как это работает, но работает

источник

13:28пожаловаться #20