В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

380 membersпожаловаться на группу
2019 October 10

МС

Михаил Синегубов in Scrapy
Кирилл
Полностью никак нельзя закрыться, чем лучше защита тем больше обычные пользователи страдают
хреновый хостинг на парсинг действует аки крест на нечисть 😂
уже отказывался от нескольких таких сайтов, когда говоришь клиенту, что скорось 1-5 страниц в минуту, так сразу нах....
источник
12:15пожаловаться#1

К

Кирилл in Scrapy
Михаил Синегубов
хреновый хостинг на парсинг действует аки крест на нечисть 😂
уже отказывался от нескольких таких сайтов, когда говоришь клиенту, что скорось 1-5 страниц в минуту, так сразу нах....
Акки с сайтом?
источник
12:17пожаловаться#2

МС

Михаил Синегубов in Scrapy
Кирилл
Акки с сайтом?
не понял вопроса :)
источник
12:18пожаловаться#3

К

Кирилл in Scrapy
Михаил Синегубов
хреновый хостинг на парсинг действует аки крест на нечисть 😂
уже отказывался от нескольких таких сайтов, когда говоришь клиенту, что скорось 1-5 страниц в минуту, так сразу нах....
Аааа, это у тебя поговорка, я думал ты опечатался
источник
12:19пожаловаться#4

МС

Михаил Синегубов in Scrapy
Кирилл
Аааа, это у тебя поговорка, я думал ты опечатался
ну и опечатался то же :)
источник
12:20пожаловаться#5

МС

Михаил Синегубов in Scrapy
у меня один сайт от 5 потоков уходил в даун, 100% защита, хрен спарсишь такой.
там инфы было на несколько сот. тыс. страниц....
источник
12:21пожаловаться#6

К

Кирилл in Scrapy
Ну да, и от этого сами пользователи страдали
источник
12:22пожаловаться#7

L

László in Scrapy
Господа, приветствую. Мы в работе используем django+scrapy+celery, это монолитный сервис который содержит в себе порядка двухста скраперов, которые стало невероятно трудно поддерживать. Вопрос такой возникла идея разбить скраперы на микросервисы, как это можно сделать? Наверняка кто-то здесь имеет представление о том как это сделать, буду рад услышать предложения
источник
13:50пожаловаться#8

К

Кирилл in Scrapy
László
Господа, приветствую. Мы в работе используем django+scrapy+celery, это монолитный сервис который содержит в себе порядка двухста скраперов, которые стало невероятно трудно поддерживать. Вопрос такой возникла идея разбить скраперы на микросервисы, как это можно сделать? Наверняка кто-то здесь имеет представление о том как это сделать, буду рад услышать предложения
Какие именно трудности с поддержкой? Celery это уже шаг от простого скрапи к микросервисам
источник
13:52пожаловаться#9

EB

Elisei Badanin in Scrapy
>django+scrapy+celery, это монолитный сервис
мазохисты
источник
13:52пожаловаться#10

EB

Elisei Badanin in Scrapy
вообще пауков в scrapyd, у всех стандартизируем интерфейс и дергаем из тогоже селари
источник
13:53пожаловаться#11

К

Кирилл in Scrapy
Elisei Badanin
вообще пауков в scrapyd, у всех стандартизируем интерфейс и дергаем из тогоже селари
И я о том же, интересно какие там трудности. Может быть неправильно реализовали?
источник
13:55пожаловаться#12

EB

Elisei Badanin in Scrapy
они с селери пауков пускают, как я понял, тогда там треш начнется, что-то зависло и все
источник
13:56пожаловаться#13

EB

Elisei Badanin in Scrapy
особенно на 200 пауков
источник
13:56пожаловаться#14

L

László in Scrapy
Кирилл
Какие именно трудности с поддержкой? Celery это уже шаг от простого скрапи к микросервисам
Один скрапер может забить воркер, логи храняться где-то в GAE, сами данные в GCS, на поиск проблемы и ее решение уходит до двух дней, под каждый скрапер приходится писать импортер который содержит примерно один и тот же код, за исключением вкраплений постпроцессинга
источник
14:00пожаловаться#15

EB

Elisei Badanin in Scrapy
ну логи та у гкгла хорошо работают, но вот из гае пускать пауков…там же дорого будет, тогда уже  какойнибудь скрапингхаб брать
источник
14:01пожаловаться#16

EB

Elisei Badanin in Scrapy
>под каждый скрапер приходится писать импортер который содержит примерно один и тот же код
имеет смысл нанять нормального программиста, который слышал про ооп
источник
14:02пожаловаться#17

К

Кирилл in Scrapy
пишите нормальные пайпы для обработки данных и экспорта, добавляйте тесты типа spidermon, и scrapyd
источник
14:02пожаловаться#18

EB

Elisei Badanin in Scrapy
а вообще, возможно имеет смысл смотреть в сторону какого-то airflow например
источник
14:02пожаловаться#19

B

Bulatbulat48 in Scrapy
переносите всех пауков в скрапингхаб 🙂
источник
14:04пожаловаться#20