В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

380 membersпожаловаться на группу
2019 September 16

МС

Михаил Синегубов in Scrapy
тю, 16 потоков HTML без картинок это убийство? а что тогда нет ? :)
источник
23:19пожаловаться#1

i

ildar in Scrapy
а условный цикл получения айтема за сколько отрабатывает?
источник
23:19пожаловаться#2

i

ildar in Scrapy
верней, сколько айтемов в минуту выходит?
источник
23:20пожаловаться#3

МС

Михаил Синегубов in Scrapy
примерно - 10-20 запросов
источник
23:20пожаловаться#4

МС

Михаил Синегубов in Scrapy
даже не так
источник
23:20пожаловаться#5

МС

Михаил Синегубов in Scrapy
5-15
ближе к 10 запросам в сек
источник
23:21пожаловаться#6

i

ildar in Scrapy
ууу
источник
23:21пожаловаться#7

i

ildar in Scrapy
чет какая-то деревня тормозиллово у них там на сайте
источник
23:21пожаловаться#8

i

ildar in Scrapy
подожди - это на одном прокси?
источник
23:21пожаловаться#9

МС

Михаил Синегубов in Scrapy
нет
источник
23:21пожаловаться#10

i

ildar in Scrapy
и все 7000 выдают в итоге 10 запросов в сек?
источник
23:21пожаловаться#11

i

ildar in Scrapy
на всех?
источник
23:21пожаловаться#12

МС

Михаил Синегубов in Scrapy
ДА, рокавто - соврал, 50 стоит CONCURRENT_REQUESTS
источник
23:22пожаловаться#13

i

ildar in Scrapy
ну стоять-то там хоть 1000 может)
источник
23:22пожаловаться#14

i

ildar in Scrapy
а выдает сколько?
источник
23:22пожаловаться#15

i

ildar in Scrapy
у тебя auto throtling?
источник
23:22пожаловаться#16

МС

Михаил Синегубов in Scrapy
неть
источник
23:23пожаловаться#17

i

ildar in Scrapy
а ты пробани!
источник
23:23пожаловаться#18

i

ildar in Scrapy
вообще конечно да, иной раз этот тюнинг времени больше занимает чем написание парсера(
источник
23:24пожаловаться#19

МС

Михаил Синегубов in Scrapy
ildar
вообще конечно да, иной раз этот тюнинг времени больше занимает чем написание парсера(
тут плохо то, что интереса у меня особо и нет, так, сугубо спортивный :)
мне они щас не платят, просто заказа нет, в образовательных целях ковыряюсь....
источник
23:25пожаловаться#20