dz
допутсим миллион строк, 10 колонок. float
Size: a a a
2021 July 15
AZ
база какая?
dz
postgre
AZ
однозначно to_sql
dz
но по сути df падает в оперативку ? а генератор только строчку достает
AZ
если вы оптимизируете ваш процесс на питоне (а не производительность на базе) - наверное имеет смысл по одной доставать откуда-то и кидать в базу (и то я бы посмотрел на маленький батчинг), но с датафреймом вы можете использовать COPY для записи в таблицу, это будет намного быстрее для самой базы https://pandas.pydata.org/pandas-docs/stable/user_guide/io.html#io-sql-method
dz
из stringio copy_from я не могу указать схему. Даже если ставить источники поиска, все равно не работало
dz
хотя тут есть схема. надо будет чекнуть, спасибо
AZ
видите насколько copy_from быстрее? вот этого можно добиться через кастомный method in df.to_sql
РП
А можно же партиционированную таблицу, еще и бакетировать? Будет ли в этом случае прирост чтения\записи?
NN
Запись пойдет медленнее, потому что данные нужно будет правильно раскидать.
Чтение само по себе тоже вряд ли ускорится, а вот различные джойны между одинаково бакетированными таблицами - да, ускорятся.
Чтение само по себе тоже вряд ли ускорится, а вот различные джойны между одинаково бакетированными таблицами - да, ускорятся.
А
тогда чтото другое, не связано с партицированием/бакетированием. Может тасок мало
РП
А то что таблица транзакционная может влиять?
А
тут хз, у меня таких нет
N
очень сильно. они принципиально по разному работают. асид таблицы накапливают векторы изменений в отдельных маленьких файлах и потом бог знает как компактятся, если вообще компактятся.
N
нужны транзакции-используйте то, что под них заточено. а не жалкую попытку натянуть сову на глобус.
РП
Почему ETL упорото использует транзакционную таблицу не понимаю. На источнике, по факту запуска джоба, результат сохраняется в таблицу. Только append, никаких изменений уже сохраненных строк. У строк есть дата создания
Раз в сутки, ETL должны забрать все новые строки и положить в HIVE. Тут же вообще не имеет смысла транзакционная таблица ?
Раз в сутки, ETL должны забрать все новые строки и положить в HIVE. Тут же вообще не имеет смысла транзакционная таблица ?
ЕГ
Возможно просто кто-то играл в hive 2/3 и проиграл
ЕГ
Hive 3 по-моему только external таблицы не асид