В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

437 membersпожаловаться на группу
2020 April 16

G

Georg in Scrapy
Есть задача написать парсер социальной сети, условно пусть будет твиттер. Нужно сделать скрипт масштабируемым, тобишь в зависимости от объема серверных ресурсов увеличивать/уменьшать объемы сбора данных. Нужно сделать внешний api к этим данным.
Я вижу это так:
Парсер -> nosql -> rest api
Как считаете, подойдёт scrapy/d для этого?
источник
05:37пожаловаться#1

G

Georg in Scrapy
Подойдёт ли скрапи для работы с апи соц сети?
источник
07:59пожаловаться#2

AR

Andrey Rahmatullin in Scrapy
Georg
Паук качает только страницу или статику тоже?
Только страницу конечно
источник
08:00пожаловаться#3

AR

Andrey Rahmatullin in Scrapy
Georg
Подойдёт ли скрапи для работы с апи соц сети?
Ну да
источник
08:01пожаловаться#4

G

Georg in Scrapy
Andrey Rahmatullin
Ну да
Можно ведь будет без проблем масштабировать паука, например до 2 млн запросов в день?
источник
08:02пожаловаться#5

G

Georg in Scrapy
Увеличив ресурсы конечно же
источник
08:02пожаловаться#6

AR

Andrey Rahmatullin in Scrapy
Нет
источник
08:02пожаловаться#7

G

Georg in Scrapy
Почему?
источник
08:02пожаловаться#8

AR

Andrey Rahmatullin in Scrapy
От сервера зависит, сможет ли он столько отдать и не забанит ли, так что надо смотреть
источник
08:03пожаловаться#9

G

Georg in Scrapy
Andrey Rahmatullin
От сервера зависит, сможет ли он столько отдать и не забанит ли, так что надо смотреть
Пул прокси
источник
08:03пожаловаться#10

AR

Andrey Rahmatullin in Scrapy
Хорошо, теперь это зависит ещё и от скорости прокси :)
источник
08:03пожаловаться#11

G

Georg in Scrapy
В любом случае json api будет полегче хтмла
источник
08:04пожаловаться#12

G

Georg in Scrapy
Andrey Rahmatullin
Хорошо, теперь это зависит ещё и от скорости прокси :)
Даже если и будут, думаю максимум а 1.5-2 раза)
источник
08:05пожаловаться#13

G

Georg in Scrapy
Если использовать публичный токен, по моему все должно быть норм с такими объемами
источник
08:05пожаловаться#14

G

Georg in Scrapy
Справится ли скрапи, записывать все это в бд
источник
08:05пожаловаться#15

AR

Andrey Rahmatullin in Scrapy
скрапи справится, про бд не знаю
источник
08:06пожаловаться#16

G

Georg in Scrapy
Круто, спасибо
источник
08:06пожаловаться#17

МС

Михаил Синегубов in Scrapy
Georg
Можно ведь будет без проблем масштабировать паука, например до 2 млн запросов в день?
Если брать сам скрапи - он и без масштабирования справится. С некоторыми сайтами и полный пакет (база + скрапи + сайт) легко и непринужденно 2 млн делают. А вот дальше идут частности. То сайт не держит, то база кривая (недавно обсуждали) то ещё какая хрень.
источник
08:46пожаловаться#18

G

Georg in Scrapy
Михаил Синегубов
Если брать сам скрапи - он и без масштабирования справится. С некоторыми сайтами и полный пакет (база + скрапи + сайт) легко и непринужденно 2 млн делают. А вот дальше идут частности. То сайт не держит, то база кривая (недавно обсуждали) то ещё какая хрень.
Понял
источник
08:48пожаловаться#19

VB

Vladyslav Babych in Scrapy
ildar
а какие у тебя сейчас скорости? у меня на одном сайте получалось где-то 3500 айтемов в минуту  емнип, но это на кеше (дисковом и leveldb примерно также). А так он выдает где-то 500-1000 в минуту. И это уникальные странички товаров, до которых ему еще доползти надо по менюшкам или пагинатору и открыть.
У меня сейчас 25-35 айтемов в минуту при 40 конкурентных.
Колличество потоков я увеличить немогу, копаю в сторону других улучшений, но скорее всего бесполезно
источник
10:09пожаловаться#20