В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

418 membersпожаловаться на группу
2020 March 16

МС

Михаил Синегубов in Scrapy
Genadyi
Есть инструмент который правильно даст xpath вытащить?
есть, но будет кривой 😄
вообще, почти все тестеры для хрома умеют генерить xpath/css, но лучше бы они этого не делали :)
источник
10:31пожаловаться#1

G

Genadyi in Scrapy
Да я заметил
источник
10:31пожаловаться#2

G

Genadyi in Scrapy
Они не очень
источник
10:31пожаловаться#3

М

Мак in Scrapy
ScrapeMate Beta для firefox
источник
10:45пожаловаться#4

MV

Maksim Vladimirovich in Scrapy
новая верстка фейсбука )
источник
10:47пожаловаться#5

AR

Andrey Rahmatullin in Scrapy
удобно, можно пароли не генерить, а отсюда взять
источник
10:58пожаловаться#6

МС

Михаил Синегубов in Scrapy
Andrey Rahmatullin
удобно, можно пароли не генерить, а отсюда взять
Не, не отвечает требованиям некоторых сайтов. Нет больших буковок и символов...
А вообще, идейка норм
источник
11:06пожаловаться#7

AR

Andrey Rahmatullin in Scrapy
:))
источник
11:06пожаловаться#8

MV

Maksim Vladimirovich in Scrapy
Andrey Rahmatullin
удобно, можно пароли не генерить, а отсюда взять
А как по таким сайтам ползать, только через скриншоты и распознавание текста?
источник
11:09пожаловаться#9

AR

Andrey Rahmatullin in Scrapy
не знаю, смотреть надо, не всегда классы нужны чтобы найти
источник
11:10пожаловаться#10

МИ

Михаил Иноземцев in Scrapy
Maksim Vladimirovich
А как по таким сайтам ползать, только через скриншоты и распознавание текста?
жестко еще по тегу body>div>div>div>div
источник
11:12пожаловаться#11

B

Bulatbulat48 in Scrapy
Maksim Vladimirovich
А как по таким сайтам ползать, только через скриншоты и распознавание текста?
скорее всего в каком-то js файле лежит алгоритм обфускации
источник
11:15пожаловаться#12

МС

Михаил Синегубов in Scrapy
Bulatbulat48
скорее всего в каком-то js файле лежит алгоритм обфускации
ну, судя по путям к CSS, скорее нет, чем да.
Я бы поставил на предгенерацию классов css, не думаю, что это такая большая проблема
источник
11:19пожаловаться#13

МС

Михаил Синегубов in Scrapy
и да, в самом то css, такие же "веселые" классы
источник
11:20пожаловаться#14

G

Genadyi in Scrapy
https://gist.github.com/dasdWEQWEQWA/4ab2d17647daf49aa668183cba448f4c правильно я все делаю? Или нет?
Gist
test.py
GitHub Gist: instantly share code, notes, and snippets.
источник
11:25пожаловаться#15

AR

Andrey Rahmatullin in Scrapy
что это и зачем? реформатилка джсона?
источник
11:27пожаловаться#16

G

Genadyi in Scrapy
Andrey Rahmatullin
что это и зачем? реформатилка джсона?
Код написан. Если 1 файл с ошибкой читается то дата берётся из 2 и перезаписывается в 1
источник
11:27пожаловаться#17

AR

Andrey Rahmatullin in Scrapy
json.dump(data, file, indent=4) это как должно работать? file мало того что открывался на чтение, так ещё и не смог открыться
источник
11:28пожаловаться#18

VB

Vladyslav Babych in Scrapy
Привет, мне нужно запоминать индекс нахождения на странице. При этом я хожу поочерёдно по страницам, соответственно на каждую страницу запускается новый метод parse c помощью inline request. Как мне можно между разными запусками parse передать уже спаршенное колличество элементов. Что-бы счётчик не начинался на каждой старнице сначала?
источник
12:50пожаловаться#19

AR

Andrey Rahmatullin in Scrapy
Зачем это всё?
источник
12:51пожаловаться#20