Size: a a a

2020 April 14

AR

Andrey Rahmatullin in Scrapy
я думаю внутри именно он
источник

VB

Vladyslav Babych in Scrapy
Чем больше я узнаю тем меньше я знаю
источник

R

Roma in Scrapy
Ок да согласен - модель каждый под свою схему БД пишет
источник

EB

Elisei Badanin in Scrapy
Vladyslav Babych
Но она же убер медленно работает. Или как ты ускоряешь?
алхимия медленно?)
источник

VB

Vladyslav Babych in Scrapy
Elisei Badanin
алхимия медленно?)
я просто криворуко её использую скорее всего
источник

VB

Vladyslav Babych in Scrapy
блокирующе
источник

М

Мак in Scrapy
На скорость алхимии грех жаловаться))
источник

М

Мак in Scrapy
Не надо каждый итем коммитить просто
источник

AR

Andrey Rahmatullin in Scrapy
он боится данные потерять же
источник

AR

Andrey Rahmatullin in Scrapy
ну, вначале он вообще на каждый итем коннект открывал
источник

М

Мак in Scrapy
Тогда конечно тормоза
источник

VB

Vladyslav Babych in Scrapy
Да, я уже далеко продвинулся. Относительно далеко
источник

К

Кирилл in Scrapy
Andrey Rahmatullin
ну, вначале он вообще на каждый итем коннект открывал
Новый тред на каждый итем
источник

AR

Andrey Rahmatullin in Scrapy
для этого кстати тредпулы придумали
источник

VB

Vladyslav Babych in Scrapy
Кирилл
Новый тред на каждый итем
это уже позже было))0
источник

К

Кирилл in Scrapy
Я подозреваю, что у тебя все нормально со скоростью, и ты надумал себе
источник

VB

Vladyslav Babych in Scrapy
25-30 в минуту при 40 конкурентных запросах
источник

К

Кирилл in Scrapy
И дело в бд?
источник

К

Кирилл in Scrapy
Бд не может 30 в минуту писать
источник

EB

Elisei Badanin in Scrapy
может)
источник