В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

749 membersпожаловаться на группу
2020 December 01

DO

Daniil Okhlopkov in Scrapy
Я прорвался через cloudflare - теперь следующая защита: рандомизация названий классов у div.

Какие есть best practices обхода этой защиты?))
источник
14:39пожаловаться#1

B

Bulatbulat48 in Scrapy
Daniil Okhlopkov
Я прорвался через cloudflare - теперь следующая защита: рандомизация названий классов у div.

Какие есть best practices обхода этой защиты?))
смотреть обфускацию в js файлах или привязоваться к тегам, словам.
источник
14:42пожаловаться#2

B

Bulatbulat48 in Scrapy
источник
14:42пожаловаться#3

B

Bulatbulat48 in Scrapy
возможно оно приходит из api?
источник
14:42пожаловаться#4

DO

Daniil Okhlopkov in Scrapy
Bulatbulat48
возможно оно приходит из api?
нет, проверил. Страница вот эта: https://angel.co/company/northstarmoney/jobs/475388-
источник
14:43пожаловаться#5

DO

Daniil Okhlopkov in Scrapy
Bulatbulat48
смотреть обфускацию в js файлах или привязоваться к тегам, словам.
про привязку к тегам-словам я понял, спасибо.
А про обфускацию в js - нет. Вроде как всю страницу рендерит бекенд и сразу выдает такие компоненты
источник
14:45пожаловаться#6

AR

Andrey Rahmatullin in Scrapy
Это не обфускация, просто автогенерация, как я понимаю
источник
14:56пожаловаться#7

DO

Daniil Okhlopkov in Scrapy
Andrey Rahmatullin
Это не обфускация, просто автогенерация, как я понимаю
В любом случае, просто так привязаться не получится к div. Но я такой подход видел на много сайтах - точно уже должен быть метод, как это обходить. Можно костыляться за структуру сайта и за слова, которые не меняются. Но вдруг еще что-нибудь есть в арсенале
источник
14:58пожаловаться#8

AR

Andrey Rahmatullin in Scrapy
Не встречал
источник
14:58пожаловаться#9

AR

Andrey Rahmatullin in Scrapy
Ну, без мл
источник
14:58пожаловаться#10

DO

Daniil Okhlopkov in Scrapy
Andrey Rahmatullin
Ну, без мл
Мл? Мащин лернинг?) auto parser от scraping hub?
источник
15:03пожаловаться#11

AR

Andrey Rahmatullin in Scrapy
Не, что-нибудь своё на computer vision
источник
15:04пожаловаться#12

DO

Daniil Okhlopkov in Scrapy
Ну уж нет
источник
15:07пожаловаться#13

B

Bulatbulat48 in Scrapy
Andrey Rahmatullin
Это не обфускация, просто автогенерация, как я понимаю
+
источник
15:12пожаловаться#14

Ra

Ruslan aka DUDE in Scrapy
Соорудил такой костыль:
def innerHTMLSelector(selector):
    html = ''.join([s.extract() for s in x.xpath('node()')])
    return scrapy.Selector(text=html, type='html')

есть ли чтото менее костыльное?
гугл ничего адекватного не выдал
источник
17:59пожаловаться#15

МС

Михаил Синегубов... in Scrapy
Ruslan aka DUDE
Соорудил такой костыль:
def innerHTMLSelector(selector):
    html = ''.join([s.extract() for s in x.xpath('node()')])
    return scrapy.Selector(text=html, type='html')

есть ли чтото менее костыльное?
гугл ничего адекватного не выдал
ээээ, а теперь выдохни, сосчитай до 10 и объясни русским языком, что за костыль и нахрена он нужен?
источник
18:03пожаловаться#16

МС

Михаил Синегубов... in Scrapy
и, "костыль", как я понимаю, сооружал прям тут? ибо оно работать не будет.
источник
18:08пожаловаться#17

DO

Daniil Okhlopkov in Scrapy
Подскажите, пожалуйста, как в xpath селектнуть по слову subheader, которое должно быть contains в названии класса? (надеюсь, понятно описал задачу)...
источник
18:13пожаловаться#18

К

Кирилл in Scrapy
Daniil Okhlopkov
Подскажите, пожалуйста, как в xpath селектнуть по слову subheader, которое должно быть contains в названии класса? (надеюсь, понятно описал задачу)...
Используй contains в xpath по классу 😆
источник
18:15пожаловаться#19

DO

Daniil Okhlopkov in Scrapy
Кирилл
Используй contains в xpath по классу 😆
ага) я ключевое слово contains тоже нагуглил, но так и не смог высказать точного заклинания. Читал инстуркцию эту https://docs.scrapy.org/en/latest/intro/tutorial.html
источник
18:16пожаловаться#20