YS
и да и нет )) База с актуальными данными на ssd, она меньше в 10 раз, но по ней запросы как раз по 8 часов идут
Такого уж и вовсе не должно быть. :(
Size: a a a
2020 June 02
RU
тот же поиск дубликатов занял минут 20. когда обращаешься к узеньким колонкам - bigint, checksum (32 varchar) - все на изи проходит
RU
а вот когда лезешь в xml-данные - там куча килобайт на строчку и все запросы встают раком на часы
2020 June 03
RU
если я правильно понял - toast - та же таблица, только системно-обрабатываемая и содержит данные разбитые на куски подходящие для хранения, с порядковыми номерами, сжатием и прочей радостью
RU
т.е. запрос на data-поле с 10кб данных запускает внутри джоин на 20 строк, я правильно понял устройство toast?
Ð
а вот когда лезешь в xml-данные - там куча килобайт на строчку и все запросы встают раком на часы
хмл данные это не данные, это же просто текст, и оно его парсит каждый раз
YS
если я правильно понял - toast - та же таблица, только системно-обрабатываемая и содержит данные разбитые на куски подходящие для хранения, с порядковыми номерами, сжатием и прочей радостью
Да, примерно так. См. https://www.postgresql.org/docs/current/storage-toast.html#STORAGE-TOAST-ONDISK
Ð
а если оно апдейтит хмл или жсон - это вообще все, писец
YS
т.е. запрос на data-поле с 10кб данных запускает внутри джоин на 20 строк, я правильно понял устройство toast?
Если Вы поле целиком извлекаете — то да, но для SSD это всё равно ерунда, по идее.
Ð
тот же поиск дубликатов занял минут 20. когда обращаешься к узеньким колонкам - bigint, checksum (32 varchar) - все на изи проходит
поставь atop, посмотри что заполняет систему, где там ботлнек. Скорее всего иопсы. Или цпу. Или может своп.
RU
ну, в данном случае удаляет, но видимо удаление одной строки равноценно удалению десятка в toast-таблице. а т.к. таблица жирная - перестройка индекса, или что там этому сопутсвует, так же увеличивает время в десятки раз
RU
ух епт, я тут ниче не понял )
YS
ну, в данном случае удаляет, но видимо удаление одной строки равноценно удалению десятка в toast-таблице. а т.к. таблица жирная - перестройка индекса, или что там этому сопутсвует, так же увеличивает время в десятки раз
Да, это вполне возможно. Это я писал про то, что проблем с той базой, что на SSD, это как-то не объясняет. ;)
RU
Yaroslav Schekin
Да, это вполне возможно. Это я писал про то, что проблем с той базой, что на SSD, это как-то не объясняет. ;)
проблемы с базой на ssd я уже выяснил - там я упираюсь в скорость запуска функций внутри селекта
RU
pcre и xpath дают скорость около 10к строк в секунду ( при чем xpath чуть быстрее)
Ð
диск загружен на 100%
RU
а вот similar to дает скорость в разы выше, т.к. нет вызова функции
Ð
иопсов не хватает, нужен ссд
Ð
и еще чекни смарт дисков на всякий случай
RU
согласен - загадка в другом, у операционки есть кеш в оперативе