Телеграмм чат группы pgsql страница 10634

16:15пожаловаться #1

Nick Belous in pgsql – PostgreSQL

Да вот думаю, да

16:15пожаловаться #2

Nick Belous in pgsql – PostgreSQL

Надо понять только как. Спасибо

16:15пожаловаться #3

Andrew in pgsql – PostgreSQL

Сначала лучше не update пробовать, а select field, regexp_replace() from table limit 15
И посмотреть, то или не то...

16:16пожаловаться #4

Andrew in pgsql – PostgreSQL

И надо для каждого поля отдельно, что replace, что regexp_replace

16:18пожаловаться #5

Nick Belous in pgsql – PostgreSQL

Можно ли принудительно при преобразовании данных к типу numeric указать, что и '.' и ',' являются разделителями?

16:20пожаловаться #6

2flower _ in pgsql – PostgreSQL

Nick Belous

Можно ли принудительно при преобразовании данных к типу numeric указать, что и '.' и ',' являются разделителями?

to_number(text, text) numeric convert string to numeric to_number('12,454.8-', '99G999D9S')
https://www.postgresql.org/docs/current/functions-formatting.html

16:28пожаловаться #7

gri gvandri in pgsql – PostgreSQL

Добрый день!
Есть вьюшка А которая создается миграцией и за ней еще несколько вьюшек которые используют эту вьюшку как дочернюю, добавляется новая сущность, и мне надо к вьюшке А прижойнить эту сущность новой миграцией, но стересть я ее не могу потому что от нее зависят другие вьюшки. Попробовал create or replace но она не смогла обновить колонку.

18:04пожаловаться #8

Jim Di in pgsql – PostgreSQL

pgcodekeeper умеет такое, попробуй

18:09пожаловаться #9

Analyze after tune postgres with tmp table with datetime timezone

Yaroslav Schekin

Ну так и что, выполнили Вы tuning PostgreSQL? И VACUUM ANALYZE выполнили?
Если да, какие результаты?

Результаты после тюна, вакуума, с веременной таблицей с индексами ~ такие же по времени, но уже хеш джоины и все в памяти

https://gist.github.com/k0nsta/54655ff300f1d3f126e3b695c3ce46e3

Gist

Analyze after tune postgres with tmp table with datetime timezone - after-tune.sql

18:57пожаловаться #10

Yaroslav Schekin in pgsql – PostgreSQL

Analyze after tune postgres with tmp table with datetime timezone

Gist

Analyze after tune postgres with tmp table with datetime timezone - after-tune.sql

А под какое железо / нагрузку и т.п. выполнен tuning?
Вообще, неплохо бы увидеть ответы на все вопросы (все параметры), которые просит указать http://pgconfigurator.cybertec.at/
И опять такое впечатление, что ANALYZE тут не было.

19:00пожаловаться #11

postgresql.conf

(1.87 Кб)

aws m5.large vCPU 2, 8GB RAM

19:05пожаловаться #12

Yaroslav Schekin

да почему не было ANALYZE?

19:06пожаловаться #13

Yaroslav Schekin in pgsql – PostgreSQL

да почему не было ANALYZE?

Потому что вот:

         ->  Bitmap Index Scan on csco_idesind_2008_2020_datadate_gvkey_idx  (cost=0.00..4705.91 rows=184935 width=0) (actual time=257.019..257.021 rows=4789440 loops=1)
               Index Cond: ((datadate >= '2013-10-01 00:00:00+00'::timestamp with time zone) AND (datadate <= '2015-04-01 00:00:00+00'::timestamp with time zone))

Простое условие, но большая ошибка в оценках — почему так?

19:06пожаловаться #14

postgresql.conf

(1.87 Кб)

aws m5.large vCPU 2, 8GB RAM

отличие только в work_mem = '256 MB'

19:07пожаловаться #15

Yaroslav Schekin

Потому что вот:

         ->  Bitmap Index Scan on csco_idesind_2008_2020_datadate_gvkey_idx  (cost=0.00..4705.91 rows=184935 width=0) (actual time=257.019..257.021 rows=4789440 loops=1)
               Index Cond: ((datadate >= '2013-10-01 00:00:00+00'::timestamp with time zone) AND (datadate <= '2015-04-01 00:00:00+00'::timestamp with time zone))

Простое условие, но большая ошибка в оценках — почему так?

да вот хз

19:07пожаловаться #16

Yaroslav Schekin in pgsql – PostgreSQL

да вот хз

Так сделайте "ANALYZE csco_idesind_2008_2020;" — что-то изменится?
Если нет — можно попробовать поднять stats. target для этого поля.

19:08пожаловаться #17

ок сейчас

19:08пожаловаться #18

Yaroslav Schekin in pgsql – PostgreSQL

postgresql.conf

(1.87 Кб)

aws m5.large vCPU 2, 8GB RAM

Скажите, а прочие параметры, которые Вы там вводили, вроде размера базы, я должен по значениям в postgresql.conf угадать? ;)

19:14пожаловаться #19

ram 8
cpu 2
disk HDD
num disk 1
size DB 1TB (actually 400gb)
workload: purely analytical and large aggregation
reading tr: 80%
connections: 40
replica 0