Size: a a a

2020 April 15

AR

Andrey Rahmatullin in Scrapy
контекст?
источник

VB

Vladyslav Babych in Scrapy
источник

VB

Vladyslav Babych in Scrapy
это миллисекунды?
источник

К

Кирилл in Scrapy
секунды
источник

AR

Andrey Rahmatullin in Scrapy
секунды, да
источник

VB

Vladyslav Babych in Scrapy
спасибо
источник

VB

Vladyslav Babych in Scrapy
Я правильно понимаю что сумарно время потраченное на обработку 1 запроса это: download latency + время в разных пайплайнах?
источник

К

Кирилл in Scrapy
Если очень грубо
источник

VB

Vladyslav Babych in Scrapy
А если точно?))
источник

VB

Vladyslav Babych in Scrapy
Или остальное очень и очень быстро?
источник

К

Кирилл in Scrapy
А если точно, то включи дэбагер и пройдись по стэку вызовов
источник

К

Кирилл in Scrapy
Все калбэки, миделверы, пайпы, дэлаи, латенси и т.д. В общем-то время всего, кроме кода инициализации, который только один раз исполняется
источник

VB

Vladyslav Babych in Scrapy
В целом всем, что не работа с I/O можно пренебречь?
источник

МС

Михаил Синегубов in Scrapy
Vladyslav Babych
А если точно?))
ты производительность хочешь замерить? отключи, нафиг, все выводы (в базу или куда там у тебя), запусти голый парсер с уровнем логирования не ниже INFO. И посмотри сколько у тебя занимает чистые запросы и обработка
источник

МС

Михаил Синегубов in Scrapy
а потом уже поймешь, надо ли "раскочегаривать " IO
источник

VB

Vladyslav Babych in Scrapy
Вдруг там кому было интересно, сохранение в БД я раскочегарил)))
источник

VB

Vladyslav Babych in Scrapy
Михаил Синегубов
ты производительность хочешь замерить? отключи, нафиг, все выводы (в базу или куда там у тебя), запусти голый парсер с уровнем логирования не ниже INFO. И посмотри сколько у тебя занимает чистые запросы и обработка
Та я так и делал. Стало интересно где ещё может что-то время занимать
источник

К

Кирилл in Scrapy
Какую ты скорость хочешь?
источник

VB

Vladyslav Babych in Scrapy
Кирилл
Какую ты скорость хочешь?
сколько времени занимает полностью обработать 1 запрос. И если можно всем кроме I/O пренебречь, то я разобрался.
источник

G

Georg in Scrapy
Добрый день. Как в scrapy-xlsx настроить красивую шапку на русском и изменить ее цвет?
источник