МС
а мы говорим о просто замене "вот прям все за один раз вставить" на батчи или преимуществе одного над другим?
Size: a a a
2021 June 04
МС
просто я то имел в виду "нахрена хранить несколько сот. тыс. айтемов в памяти"
(
Ну, хуже-то от пакетной записи не будет, но может быть и так, что логика пайплайна усложнена батчами, а профита нет
МС
мы сейчас о чем спорим? Об необоснованной замене одного булка на батчи или сохранении памяти во время работы? :)
МС
я второе имел в виду, ибо хранить в памяти 200 тыс записей это не то что 10 тыс.
а один булк или несколько - тут хз, не думаю что прям ппц. какой прирост будет одного над другим
а один булк или несколько - тут хз, не думаю что прям ппц. какой прирост будет одного над другим
МС
а так, если у тебя 10 тыс записей планируется, то батчи нахрен не надо
(
Я говорил о том, что в моих случаях, в базу можно было писать по одному айтему, без заморочек на батчи. Движок базы справляется (write cache/buffer). Записей миллионы. Базы у меня в одном ДЦ с краулером.
МС
ну, хз, может это и можно настроить, из коробки - все печально...
A
SA ORM - total time: 12.31 seconds
SA ORM with PK - total time: 7.57 seconds
SA ORM Bulk insert - total time: 0.78 seconds
SA Core - total time: 0.09 seconds
A
блин как переписать на SA Core?) с меня пивась или коффе на пантеоне
МС
перепиши на нативе, и будет тебе счастье :)
AR
:)))
МС
https://docs.sqlalchemy.org/en/14/core/
кури доку, там, на первый взгляд, все просто :)
кури доку, там, на первый взгляд, все просто :)
A
Бан
A
Почему, дата анблок прокси
A
Или тупо в лоб селениумом с огого списком проксей)
A
Нужно профайл компаний?