В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

437 membersпожаловаться на группу
2020 April 15

AR

Andrey Rahmatullin in Scrapy
контекст?
источник
15:56пожаловаться#1

VB

Vladyslav Babych in Scrapy
https://docs.scrapy.org/en/latest/topics/request-response.html#std:reqmeta-download_latency я про эту метрику
источник
15:57пожаловаться#2

VB

Vladyslav Babych in Scrapy
это миллисекунды?
источник
15:57пожаловаться#3

К

Кирилл in Scrapy
секунды
источник
15:57пожаловаться#4

AR

Andrey Rahmatullin in Scrapy
секунды, да
источник
15:57пожаловаться#5

VB

Vladyslav Babych in Scrapy
спасибо
источник
15:58пожаловаться#6

VB

Vladyslav Babych in Scrapy
Я правильно понимаю что сумарно время потраченное на обработку 1 запроса это: download latency + время в разных пайплайнах?
источник
17:23пожаловаться#7

К

Кирилл in Scrapy
Если очень грубо
источник
17:25пожаловаться#8

VB

Vladyslav Babych in Scrapy
А если точно?))
источник
17:25пожаловаться#9

VB

Vladyslav Babych in Scrapy
Или остальное очень и очень быстро?
источник
17:26пожаловаться#10

К

Кирилл in Scrapy
А если точно, то включи дэбагер и пройдись по стэку вызовов
источник
17:26пожаловаться#11

К

Кирилл in Scrapy
Все калбэки, миделверы, пайпы, дэлаи, латенси и т.д. В общем-то время всего, кроме кода инициализации, который только один раз исполняется
источник
17:28пожаловаться#12

VB

Vladyslav Babych in Scrapy
В целом всем, что не работа с I/O можно пренебречь?
источник
17:31пожаловаться#13

МС

Михаил Синегубов in Scrapy
Vladyslav Babych
А если точно?))
ты производительность хочешь замерить? отключи, нафиг, все выводы (в базу или куда там у тебя), запусти голый парсер с уровнем логирования не ниже INFO. И посмотри сколько у тебя занимает чистые запросы и обработка
источник
17:32пожаловаться#14

МС

Михаил Синегубов in Scrapy
а потом уже поймешь, надо ли "раскочегаривать " IO
источник
17:32пожаловаться#15

VB

Vladyslav Babych in Scrapy
Вдруг там кому было интересно, сохранение в БД я раскочегарил)))
источник
17:33пожаловаться#16

VB

Vladyslav Babych in Scrapy
Михаил Синегубов
ты производительность хочешь замерить? отключи, нафиг, все выводы (в базу или куда там у тебя), запусти голый парсер с уровнем логирования не ниже INFO. И посмотри сколько у тебя занимает чистые запросы и обработка
Та я так и делал. Стало интересно где ещё может что-то время занимать
источник
17:34пожаловаться#17

К

Кирилл in Scrapy
Какую ты скорость хочешь?
источник
17:35пожаловаться#18

VB

Vladyslav Babych in Scrapy
Кирилл
Какую ты скорость хочешь?
сколько времени занимает полностью обработать 1 запрос. И если можно всем кроме I/O пренебречь, то я разобрался.
источник
17:37пожаловаться#19

G

Georg in Scrapy
Добрый день. Как в scrapy-xlsx настроить красивую шапку на русском и изменить ее цвет?
источник
17:40пожаловаться#20