Size: a a a

pgsql – PostgreSQL

2021 January 20

YS

Yaroslav Schekin in pgsql – PostgreSQL
Nikolay
Соцопрос: какое значение idle_in_transaction_session_timeout обычно держите и есть ли любители посидеть с DBeaver / any GUI с выкл автокоммитом?
Одну-две минуты, если я правильно помню.
источник

N

Nikolay in pgsql – PostgreSQL
Контекст: https://github.com/dbeaver/dbeaver/issues/2738

Есть популярное мнение, что с автокоммитом в прод ходить опасно.
источник

SB

S B in pgsql – PostgreSQL
ох 😊
источник

N

Nikolay in pgsql – PostgreSQL
Вот-вот ;)
источник

SB

S B in pgsql – PostgreSQL
ну в psql у меня выключено autocommit, а для dbeaver мне кажется это слишком %)
источник

N

Nikolay in pgsql – PostgreSQL
В psql выключено? Забывал where у delete дописать?
источник

SB

S B in pgsql – PostgreSQL
на всякий случай :-)
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
В прод вообще ходить опасно. ;)
А так — default psql (AUTOCOMMIT on) правильный, IMHO.
источник

D

Djony in pgsql – PostgreSQL
Yaroslav Schekin
От многого зависит — тип нагрузки, что за данные и сколько их, какие запросы и т.д. и т.п.
Может направите в какую сторону копать? Всё на этапе становления, пока в базе 8 таблиц, одна на 100 млн записей.
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
Djony
Может направите в какую сторону копать? Всё на этапе становления, пока в базе 8 таблиц, одна на 100 млн записей.
Да на такие вопросы вообще трудно отвечать...
Просто потому что сервер, допустим, за 10000$ — хорошо, но за 20000$ — ещё лучше, а уж за 1000000$... ;)
Т.е. тут нужно что-то с чем-то балансировать, а как — знаете (если знаете) только Вы.

> Нужно как можно быстрее получать результаты запроса и сохранность данных

Т.е. для "как можно быстрее получать результаты" лучше, чтобы база (или хотя бы те данные, по которым результаты запросов) [неоднократно] "влезала" в RAM, чтобы был процессор под каждый из одновременно выполняющихся запросов, чтобы диски были как можно быстрее (для writes) и в RAID их было побольше (для сохранности)... но у меня такое чувство, что на практике Вы до этого "идеала" не дойдёте. ;)
источник
2021 January 21

NZ

Nikita Zhidkov in pgsql – PostgreSQL
Привет, пытаюсь загрузить данные в временную таблицу из csv файла, но возникает ошибка. Запрос выглядит так:
CREATE TEMP TABLE tmp_x AS SELECT * FROM public.test_table_clothes LIMIT 0;
COPY tmp_x FROM '/home/user_name/dataset.csv' (FORMAT csv DELIMITER ',' HEADER TRUE);

DROP TABLE tmp_x;

Подскажите, пожалуйста, в чём проблема с хедером у меня?
источник

W

Warstone in pgsql – PostgreSQL
WITH HEADER для COPY
источник

W

Warstone in pgsql – PostgreSQL
или как-то так...
источник

NZ

Nikita Zhidkov in pgsql – PostgreSQL
Warstone
WITH HEADER для COPY
получается перед каждым параметром добавить, но что-то не помогло
COPY tmp_x FROM '/home/user_name/dataset.csv' WITH FORMAT csv WITH DELIMITER ',' WITH HEADER TRUE;
источник

W

Warstone in pgsql – PostgreSQL
header просто не будет считать первую строчку данными.
источник

W

Warstone in pgsql – PostgreSQL
Если у вас не пошло, то показывайте новую ошибку. Желательно текстом, а не картинкой
источник

NZ

Nikita Zhidkov in pgsql – PostgreSQL
ошибка таже самая
psql:dataset.csv:185047: ERROR:  syntax error at or near "item_category"
LINE 1: item_category,price,item_id,shop,picture,name,vendor,user_ty...

только я вот не до конца понимаю, ошибка всё же на header или всё же на строку в csv под номером 185047(она последняя в файле)
источник

NZ

Nikita Zhidkov in pgsql – PostgreSQL
попробовал удалить последнюю строку в csv, тоже самое, только строка с номером на один меньше
источник

mm

miruzzy miruzzy in pgsql – PostgreSQL
что-то мне кажется, что дело в csv-файле
источник

W

Warstone in pgsql – PostgreSQL
Я не помню нужно-ли при FROM форсировать двойные кавычки при названии колонок или он и так должен это съесть.
источник