AB
но вообще Андрес вот работает надо улучшением работы с диском и внедрением io uring
Size: a a a
2021 January 08
LB
ну да, только у меня другой случай - относительно спокойный сервер и только некоторые запросы портят 90 percentile .
AB
ну индекс скан очень сложно оптимизировать с точки зрения чтения диска
AB
можно распараллелить джойн какой-нибудь только
AB
да и не будет 200 чтения диска в индекс скане, 5-6 будет
AB
а если там туча сканов - то они в основном будут по блокам в Кеше
LB
ну индекс скан очень сложно оптимизировать с точки зрения чтения диска
ну пройтись по индексу, набрать список страниц, которых хоется, затем через io_uring запросить все страницы с хипа. сам доступ к индексу врят ли, да, но к хипу уже можно.
LB
да и не будет 200 чтения диска в индекс скане, 5-6 будет
у меня на сетевом диске прям 1:1 корреляция между
Buffers read и Execution time. Что в целом укладывается в 1ms latency на чтение таких дисковYS
ну пройтись по индексу, набрать список страниц, которых хоется, затем через io_uring запросить все страницы с хипа. сам доступ к индексу врят ли, да, но к хипу уже можно.
Ну так bitmap heap scan и сейчас prefetch-ится, а для обычного index scan "в среднем" ничего не выиграешь, казалось бы.
VY
у меня на сетевом диске прям 1:1 корреляция между
Buffers read и Execution time. Что в целом укладывается в 1ms latency на чтение таких дисковбазы они не про сетевые диски
LB
базы они не про сетевые диски
ну, всё виртуальное и по сети :) что есть уж
VY
это же не мне, это на следующее сообщение ответ
LB
Yaroslav Schekin
Ну так bitmap heap scan и сейчас prefetch-ится, а для обычного index scan "в среднем" ничего не выиграешь, казалось бы.
в bitmap на каждую страницу прям дёргают два сискола (fadvise + read)?
YS
это же не мне, это на следующее сообщение ответ
Да, это какой-то глюк в клиенте, видимо. Извините.
YS
Парни, привет, подскажите,
Как вставить функцию в шаблонизированную строку запроса?
Поле
Как это сделать?
Если вставляю функцию непосредственно в значения, то такая ошибка:
Если делаю так:
То ошибка следующая:
Как вставить функцию в шаблонизированную строку запроса?
Поле
created имеет тип timezone. Хочу привести исходные данные к этому типу с помощью postgre'вской функции TO_TIMESTAMP(). Как это сделать?
INSERT INTO data.source(created, created_utc) VALUES($1, $2) Если вставляю функцию непосредственно в значения, то такая ошибка:
error: invalid input syntax for type timestamp with time zone: "TO_TIMESTAMP('1581569438')" Если делаю так:
INSERT INTO data.source(created, created_utc) VALUES(TO_TIMESTAMP('$1'), TO_TIMESTAMP('$2')) То ошибка следующая:
duplicate key value violates unique constraint "source_pkey"> Если вставляю функцию непосредственно в значения
Потому что "TO_TIMESTAMP('1581569438')" не является корректным представлением timestamptz.
> Если делаю так:
Это более-менее правильно (смотря какие там типы данных.
Потому что "TO_TIMESTAMP('1581569438')" не является корректным представлением timestamptz.
> Если делаю так:
Это более-менее правильно (смотря какие там типы данных.
> duplicate key value violates unique constraint "source_pkey"
А вот это уже что-то совсем другое — смотрите, почему там duplicate.VY
David Shiko
Спасибо большое за помощь, сэкономили пару часов гуглинга!
А как тогда поступить если очень много полей выходит (>20) ?
Логически это 1 таблица, но с большой вероянтностью данные будут извлекккаться только из первых 10 колонок или из вторых 10 колонок и редко будут нужны разом
А как тогда поступить если очень много полей выходит (>20) ?
Логически это 1 таблица, но с большой вероянтностью данные будут извлекккаться только из первых 10 колонок или из вторых 10 колонок и редко будут нужны разом
я бы не стал пока заморачиваться и бить таблицы, сделал бы одну. т.к. если вы хотите две, то у вас получается циклическая зависимость (судя по вашим словам).
чтобы её разорвать надо уже 3 таблицы делать.
также можно свернуть какую-то часть в array или hstore, при условии что все колонки этой части всегда вместе выбираются
и ещё раз — я бы этим занимался тогда, когда запросы к этим таблицам будут главным узким местом производительнсоти системы
чтобы её разорвать надо уже 3 таблицы делать.
также можно свернуть какую-то часть в array или hstore, при условии что все колонки этой части всегда вместе выбираются
и ещё раз — я бы этим занимался тогда, когда запросы к этим таблицам будут главным узким местом производительнсоти системы
VP
Yaroslav Schekin
> Если вставляю функцию непосредственно в значения
Потому что "TO_TIMESTAMP('1581569438')" не является корректным представлением timestamptz.
> Если делаю так:
Это более-менее правильно (смотря какие там типы данных.
Потому что "TO_TIMESTAMP('1581569438')" не является корректным представлением timestamptz.
> Если делаю так:
Это более-менее правильно (смотря какие там типы данных.
> duplicate key value violates unique constraint "source_pkey"
А вот это уже что-то совсем другое — смотрите, почему там duplicate.С duplicate разобрался,
а в чем еще мой косяк? Не очень понял
а в чем еще мой косяк? Не очень понял
DS
я бы не стал пока заморачиваться и бить таблицы, сделал бы одну. т.к. если вы хотите две, то у вас получается циклическая зависимость (судя по вашим словам).
чтобы её разорвать надо уже 3 таблицы делать.
также можно свернуть какую-то часть в array или hstore, при условии что все колонки этой части всегда вместе выбираются
и ещё раз — я бы этим занимался тогда, когда запросы к этим таблицам будут главным узким местом производительнсоти системы
чтобы её разорвать надо уже 3 таблицы делать.
также можно свернуть какую-то часть в array или hstore, при условии что все колонки этой части всегда вместе выбираются
и ещё раз — я бы этим занимался тогда, когда запросы к этим таблицам будут главным узким местом производительнсоти системы
Спасибо еще раз
YS
в bitmap на каждую страницу прям дёргают два сискола (fadvise + read)?
Нет, там сложнее (см. nodeBitmapHeapscan.c, если интересны подробности).
LB
Yaroslav Schekin
Нет, там сложнее (см. nodeBitmapHeapscan.c, если интересны подробности).
зафорсил bitmap scan, к сожалению на холодных данных время не улучшилось :) ну ладно, часто достаточно не решить проблему, а объяснить причину :)