В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

432 membersпожаловаться на группу
2020 March 22

СТ

Семён Трояновский in Scrapy
Кстати ребят вопрос пока скорее любопытства чем практики но все же: можете обозначить один два кейса когда splash не канает и нужно использовать selenium? изучаю сейчас splash и пока не могу понять границы его компетенций. все дело в капчах или что-то ещё?
источник
19:28пожаловаться#1

B

Bulatbulat48 in Scrapy
Семён Трояновский
Кстати ребят вопрос пока скорее любопытства чем практики но все же: можете обозначить один два кейса когда splash не канает и нужно использовать selenium? изучаю сейчас splash и пока не могу понять границы его компетенций. все дело в капчах или что-то ещё?
Лучше взять puppeteer
источник
19:30пожаловаться#2

СТ

Семён Трояновский in Scrapy
Bulatbulat48
Лучше взять puppeteer
тоже браузер без головы?)
источник
19:32пожаловаться#3

B

Bulatbulat48 in Scrapy
Семён Трояновский
тоже браузер без головы?)
верхнеуровнее апи к хрому, да headless
источник
19:34пожаловаться#4

СТ

Семён Трояновский in Scrapy
Bulatbulat48
верхнеуровнее апи к хрому, да headless
воспринял) можешь привести пример когда splash не справится а он сможет?)
источник
19:42пожаловаться#5

B

Bulatbulat48 in Scrapy
Семён Трояновский
воспринял) можешь привести пример когда splash не справится а он сможет?)
много разного js-кода
источник
19:58пожаловаться#6

СТ

Семён Трояновский in Scrapy
Bulatbulat48
много разного js-кода
Спс)
источник
20:20пожаловаться#7

R

Roma in Scrapy
А были ли кейсы когда selenium не справился и пришлось юзать puppeteer?
источник
20:21пожаловаться#8

iz

izzz zzi in Scrapy
Roma
А были ли кейсы когда selenium не справился и пришлось юзать puppeteer?
я думаю puppeteer полегче и жрет меньше
источник
20:22пожаловаться#9

R

Roma in Scrapy
Вроде где то видел или читал - что selenium все равно вычисляет сервер и блокирует
источник
20:24пожаловаться#10

R

Roma in Scrapy
а с puppeter типа все норм было
источник
20:24пожаловаться#11

iz

izzz zzi in Scrapy
Roma
Вроде где то видел или читал - что selenium все равно вычисляет сервер и блокирует
ну фингерпринт нужно генерировать
источник
20:25пожаловаться#12

R

Roma in Scrapy
izzz zzi
ну фингерпринт нужно генерировать
То есть у тебя не возникало ситуаций когда selenium разoчаровывал ?
источник
20:31пожаловаться#13

iz

izzz zzi in Scrapy
нет обычно просто дольше времени на него уходит
источник
20:32пожаловаться#14

R

Roma in Scrapy
Ок - спасибо!
источник
20:33пожаловаться#15

СТ

Семён Трояновский in Scrapy
Bulatbulat48
много разного js-кода
вот этот middleware для puppeteer стандартное решение?
источник
20:45пожаловаться#16

СТ

Семён Трояновский in Scrapy
https://github.com/clemfromspace/scrapy-puppeteer
GitHub
clemfromspace/scrapy-puppeteer
Scrapy + Puppeteer. Contribute to clemfromspace/scrapy-puppeteer development by creating an account on GitHub.
источник
20:45пожаловаться#17

СТ

Семён Трояновский in Scrapy
в контексте коннекта со Scrapy
источник
20:46пожаловаться#18

AR

Andrey Rahmatullin in Scrapy
Семён Трояновский
Кстати ребят вопрос пока скорее любопытства чем практики но все же: можете обозначить один два кейса когда splash не канает и нужно использовать selenium? изучаю сейчас splash и пока не могу понять границы его компетенций. все дело в капчах или что-то ещё?
сплеш стейтлесс, всё взаимодействие луа-скриптом, это неудобно
источник
21:18пожаловаться#19

AR

Andrey Rahmatullin in Scrapy
ну и там внутри не хром и не фф, что может быть важно
источник
21:18пожаловаться#20