В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

766 membersпожаловаться на группу
2020 December 08

AR

Andrey Rahmatullin in Scrapy
Boris Litvyakov
там есть JS на странице, поэтому я взял requests_html/scrapy_requests

подставляю одни и те же кукис в обычном питоне все работает, в скрейпи почему-то нет - кинул код для примера
сохрани респонсы и сравнивай
источник
21:36пожаловаться#1

AR

Andrey Rahmatullin in Scrapy
ну и подстановка кук не всегда работать обязана конечно
источник
21:36пожаловаться#2

BL

Boris Litvyakov in Scrapy
SoHard 🎄
что такое scrapy_requests?
либа которая позволяет работать с JS благодаря библиотеке requests-html, которая расширяет обычные реквесты
https://pypi.org/project/scrapy-requests/
PyPI
scrapy-requests
Scrapy with requests-html
источник
21:37пожаловаться#3

S

SoHard 🎄 in Scrapy
Boris Litvyakov
либа которая позволяет работать с JS благодаря библиотеке requests-html, которая расширяет обычные реквесты
https://pypi.org/project/scrapy-requests/
PyPI
scrapy-requests
Scrapy with requests-html
ух какой костыль
источник
21:38пожаловаться#4

S

SoHard 🎄 in Scrapy
х2
источник
21:38пожаловаться#5

BL

Boris Litvyakov in Scrapy
Andrey Rahmatullin
ну и подстановка кук не всегда работать обязана конечно
понимаю, однако в первом случае что я кинул подстановка работает и поэтому я ожидал что при подстановке в скрейпи тоже сработает
источник
21:38пожаловаться#6

Ra

Ruslan aka DUDE in Scrapy
есть ли возможность определить тип ноды?
пример
'<test>hello<b>world</b></test>'
.xpath('//test/node()')
и определить что 
hello
текстовая нода а 
<b>world</b>
нет
источник
23:01пожаловаться#7

AR

Andrey Rahmatullin in Scrapy
type(node.root)
источник
23:05пожаловаться#8

AR

Andrey Rahmatullin in Scrapy
чот такое
источник
23:05пожаловаться#9

Ra

Ruslan aka DUDE in Scrapy
Andrey Rahmatullin
type(node.root)
то что надо! благодарю!
источник
23:22пожаловаться#10
2020 December 09

D

Dmitry in Scrapy
SoHard 🎄
https://www.lfd.uci.edu/~gohlke/pythonlibs/

pip install Twisted....whl
Спасибо, если твистед скомпиленный поставить, что скрапи нормально ставится пипом, python 3.9.1 полет нормальный
источник
00:18пожаловаться#11

D

Dmitry in Scrapy
И не надо этих конд-шмонд на пару гигов
источник
00:18пожаловаться#12

A

Andrii in Scrapy
А зачем пайтон 3.9?
источник
00:25пожаловаться#13

D

Dmitry in Scrapy
Надо было обновляться до 3.8, чтобы стэк мэтчился, а так как обновляюсь раз в 100 лет, решил сразу на 3.9
источник
00:28пожаловаться#14

К

Кирилл in Scrapy
Рисковый парень)
источник
00:29пожаловаться#15

D

Dmitry in Scrapy
Ну с каждой версией же все только лучше :))
источник
00:31пожаловаться#16

К

Кирилл in Scrapy
Та не, это особо не криминал, просто пару месяцев с релиза, это немного маловато, можешь на разные приколы натыкаться. Я бы пол годика подождал. Но конечно если очень хочется, и какая-то особо приятная фича появилась, то что уж тут поделать, нужно брать
источник
00:33пожаловаться#17

К

Кирилл in Scrapy
У меня вон, к примеру, комбо на неделе было. Взял 3.9 для мелкого проекта, а снап пайчарм заапдейтил, в итоге дэбагер отвалился, не хотел запускаться. Это именно с 3.9, с 3.8 проектами нормально работал
источник
00:34пожаловаться#18

D

Dmitry in Scrapy
Не, ну если бы хоть чих был кривой - не думая бы откатился конечно, зачем на это время тратить. А так рискнул и вроде норм - зато потом не надо переставляться :)
источник
00:37пожаловаться#19

D

Dmitry in Scrapy
Новый прикол.
источник
01:03пожаловаться#20