Size: a a a

pgsql – PostgreSQL

2020 June 02

RU

Roman Usachev in pgsql – PostgreSQL
Boris
кто может обьяснить значение второго параметра array_length(anyarray, int) ?
https://www.postgresql.org/docs/8.4/functions-array.html
на какую глубину вложенности считать количество
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
Roman Usachev
Размер:

public    | egrip_versions     | table | egrip    | 260 GB  |

дубликатов на 100к ogrn (где-то 140к)

всего строк:
approximate_row_count
-----------------------
        1.1142952e+08
Странно... казалось бы, весь процесс тут должен был занять от силы полчаса, при хоть сколько-то адекватном "железе"...
И это без всяких "кусков" и прочих сложностей — достаточно нормальных индексов или (лучше) определения записей к удалению только по равенству каких-то полей (например ogrn+checksum+version).
источник

Ð

Ð in pgsql – PostgreSQL
Boris
кто может обьяснить значение второго параметра array_length(anyarray, int) ?
https://www.postgresql.org/docs/8.4/functions-array.html
ого, кто-то еще на восьмой версии. Это размерность конкретного измерения многомерного массива
источник

B

Boris in pgsql – PostgreSQL
Roman Usachev
на какую глубину вложенности считать количество
Ааа, вложенность, спасибо огромное!
а где это в доках? Я видимо не понимаю как их читать
источник

RU

Roman Usachev in pgsql – PostgreSQL
Yaroslav Schekin
Странно... казалось бы, весь процесс тут должен был занять от силы полчаса, при хоть сколько-то адекватном "железе"...
И это без всяких "кусков" и прочих сложностей — достаточно нормальных индексов или (лучше) определения записей к удалению только по равенству каких-то полей (например ogrn+checksum+version).
железо вполне годное, 20 ядер, 64 гига оперативы, а таблица лежит на stripe-райде hdd. На ssd стока места не напасешься ) Там только актуальные данные лежат
источник

RU

Roman Usachev in pgsql – PostgreSQL
Boris
Ааа, вложенность, спасибо огромное!
а где это в доках? Я видимо не понимаю как их читать
returns the length of the requested array dimension
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
Boris
Ааа, вложенность, спасибо огромное!
а где это в доках? Я видимо не понимаю как их читать
Это же прямо тут написано, с примером: https://www.postgresql.org/docs/current/functions-array.html
источник

B

Boris in pgsql – PostgreSQL
Ну да пример был с одним уровнем, прям так и понятно ))
источник

RU

Roman Usachev in pgsql – PostgreSQL
меня эта база уже откровенно бесит, сижу каждый день делаю запрос на 100к, считаю секунды и умножаю на размер, запросы работают по 8 часов самые простые, посложнее - на сутки.
источник

Ð

Ð in pgsql – PostgreSQL
что-то с ней не так
источник

Ð

Ð in pgsql – PostgreSQL
возможно она намекает хозяину на то, чтобы он купил ей ссд
источник

RU

Roman Usachev in pgsql – PostgreSQL
=))
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
Roman Usachev
в данном случае да, прокатило бы. Хотя я сталкивался с аналогичной ситуацией, правда таблица была где-то на 900гиг и места под копию не хватило бы, видимо по той привычке не стал копию делать...
Ну и всё равно, казалось бы, чтобы прочитать 260 GB на "stripe-райде hdd", нужно менее получаса (это при плане seq.scan egrip + hash join / index [only] scan таблицы дубликатов), плюс накладные расходы на удаление всего-то 140к записей — тут, конечно, зависит от кол-ва индексов на таблице и т.п. — может, их там очень много, и корреляции с heap никакой нет... тогда да, это дело может затянуться. ;)
источник

RU

Roman Usachev in pgsql – PostgreSQL
в том то и дело, что там какой-то лютый random-read-write и скорость 2-4 мб/сек. и кеша в 60 гиг оперативы не хватает
источник

Ð

Ð in pgsql – PostgreSQL
на ссд кстати 8 часов легко превращаются в 5 минут
источник

RU

Roman Usachev in pgsql – PostgreSQL
Ð
на ссд кстати 8 часов легко превращаются в 5 минут
и да и нет )) База с актуальными данными на ssd, она меньше в 10 раз, но по ней запросы как раз по 8 часов идут
источник

Ð

Ð in pgsql – PostgreSQL
хм, может тогда дело в индексах, или в каких-нибудь жсонах
источник

RU

Roman Usachev in pgsql – PostgreSQL
в xml :(
источник

YS

Yaroslav Schekin in pgsql – PostgreSQL
Roman Usachev
в том то и дело, что там какой-то лютый random-read-write и скорость 2-4 мб/сек. и кеша в 60 гиг оперативы не хватает
Тогда, казалось бы, дело в индексах или TOAST.
источник

Ð

Ð in pgsql – PostgreSQL
Roman Usachev
в xml :(
😨
источник