В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

864 membersпожаловаться на группу
2021 May 17

(

(o_O) in Scrapy
я тут недавно пробовал jmespath, поддержка которого есть в scrapy, нашел его куда менее удобным чем jq
источник
17:06пожаловаться#1

AR

Andrey Rahmatullin in Scrapy
у нас ещё и glom есть
источник
17:06пожаловаться#2

AR

Andrey Rahmatullin in Scrapy
он ещё хуже
источник
17:06пожаловаться#3

AR

Andrey Rahmatullin in Scrapy
ну фигли, язык запросов к ветвистому контенту видимо нельзя сделать нормальный
источник
17:06пожаловаться#4

AR

Andrey Rahmatullin in Scrapy
XPath - оверинжениред хрень, у jq местами провалы в фичах, а jmespath это просто игрушечка чтоб сделать плоско
источник
17:07пожаловаться#5

(

(o_O) in Scrapy
да пофиг, лишь бы был стандарт, а то лепят кто что может, в mysql/postgres json свой, jq - свой, jmespath свой (но с*ка вроде принят за стандарт)
источник
17:08пожаловаться#6

AR

Andrey Rahmatullin in Scrapy
видимо нет такой нужды в индустрии
источник
17:09пожаловаться#7

(

(o_O) in Scrapy
csv :)
источник
17:11пожаловаться#8

A

Alex in Scrapy
Есть еще тулза jsqry, призванная быть заменой jq. Работает, правда, только на линупсе х64.
https://github.com/jsqry/jsqry-cli2

Сравнения синтаксиса запросов с jq:
https://gist.github.com/xonixx/d6066e83ec0773df248141440b18e8e4
GitHub
jsqry/jsqry-cli2
Small CLI tool (similar to jq) to query JSON using sane DSL - jsqry/jsqry-cli2
источник
17:31пожаловаться#9

AR

Andrey Rahmatullin in Scrapy
ужас какой
источник
17:32пожаловаться#10

П

Пастырь in Scrapy
twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure OpenSSL.SSL.Error: [('SSL routines', 'ssl_choose_client_version', 'wrong ssl version')]>]

Хм. Авито обновил SSL ? :/
источник
19:38пожаловаться#11

AR

Andrey Rahmatullin in Scrapy
scrapy shell https://avito.ru работает
www.avito.ru
Авито | Объявления в России: недвижимость, транспорт, работа, услуги, вещи
На Авито в России вы можете недорого купить или выгодно продать авто с пробегом или новую машину, квартиру и другую недвижимость, а также новую или б/у одежду, мебель, технику и многое другое. Здесь же вы найдёте исполнителей услуг и работу. Размещайте объявления и выбирайте среди предложений частных пользователей и компаний на Авито.
источник
19:38пожаловаться#12

AR

Andrey Rahmatullin in Scrapy
даже на тлс1.2 работает
источник
19:39пожаловаться#13

П

Пастырь in Scrapy
1 раз такой ексшепшн вижу
источник
19:40пожаловаться#14

AR

Andrey Rahmatullin in Scrapy
scrapy shell -s DOWNLOADER_CLIENT_TLS_METHOD=TLSv1.2 -s DOWNLOADER_CLIENT_TLS_VERBOSE_LOGGING=1 https://avito.ru
источник
19:40пожаловаться#15

S

SoHard 🎄 in Scrapy
https://dtf.ru/hard/734645-cloudflare-namerena-izbavitsya-ot-captcha-vnedriv-sistemu-kriptograficheskoy-attestacii
DTF
Cloudflare намерена избавиться от CAPTCHA, внедрив систему криптографической аттестации — Железо на DTF
Для прохождения теста потребуется не более трёх щелчков мыши.
источник
21:07пожаловаться#16

i

i in Scrapy
не понял юмора, как токен и 3 клика мышки поможет распознать робот за компом или нет.
источник
22:17пожаловаться#17

i

i in Scrapy
как всегда при переводе потеряли половину объяснялки: https://blog.cloudflare.com/introducing-cryptographic-attestation-of-personhood/
The Cloudflare Blog
Humanity wastes about 500 years per day on CAPTCHAs. It’s time to end this madness
An experiment that uses hardware security keys (like a YubiKey) to replace CAPTCHAs completely. The idea is rather simple: if a real human is sitting at their keyboard or uses their phone, they can touch their security key’s button or bring it near their phone to demonstrate that they are human.
источник
22:21пожаловаться#18

i

i in Scrapy
что один из кликов  - это не щелчок мышкой, а клик по этому токену/мобиле с nfc
источник
22:22пожаловаться#19

i

i in Scrapy
"The idea is rather simple: a real human should be able to touch or look at their device to prove they are human, without revealing their identity."
источник
22:24пожаловаться#20