С
Спасибо, попробую через них
Size: a a a
2021 March 02
YB
Сергей
Спасибо огромное!!!!!!!
OB
У нас есть задача хранения стейта пользователя. Стейт это большой JSON. До нескольких мегабайт. Фактически это такое key-value хранение. Ключ - id пользователя, value - пожатый json в bytea. Естественно что хотелось-бы чтобы через SQL иногда можно было собирать какую-нибудь аналитику. Когда появился jsonb сделали тесты. bytea выиграл по скорости (не помню точные цифры, но перевес был большой) вставки, так как там JSON был запакован, а в случае jsonb он передавался не запакованным и, в результате, забивал весь сетевой интерфейс (соответственно сохранение стейта и его загрузка сильно проседали-бы). Пришлось и дальше сидеть на bytea.
Сейчас обсуждают компрессию в libpq, это вам поможет. А зачем вам весь jsonb тащить, вам ведь все можно в базе сделать и вытаскивать только результаты.
SG
Похоже на оракловый код
АЯ
Похоже на оракловый код
Он самый
W
Сейчас обсуждают компрессию в libpq, это вам поможет. А зачем вам весь jsonb тащить, вам ведь все можно в базе сделать и вытаскивать только результаты.
Нельзя. Не потянет. У нас архитектура построена по принципу: Пока пользователь подключен - весь его стейт в памяти того бека, куда он подключен. Как отключится - положим обратно в базу. И да, если вдруг стейт откатится по каким-либо причинам - это, конечно, плохо, но вариантов у нас нету.
А насчет компресии - это хорошо. Давно пора.
А насчет компресии - это хорошо. Давно пора.
V
Нельзя. Не потянет. У нас архитектура построена по принципу: Пока пользователь подключен - весь его стейт в памяти того бека, куда он подключен. Как отключится - положим обратно в базу. И да, если вдруг стейт откатится по каким-либо причинам - это, конечно, плохо, но вариантов у нас нету.
А насчет компресии - это хорошо. Давно пора.
А насчет компресии - это хорошо. Давно пора.
а если тот бэк внезапно упадет?)
D
Нельзя. Не потянет. У нас архитектура построена по принципу: Пока пользователь подключен - весь его стейт в памяти того бека, куда он подключен. Как отключится - положим обратно в базу. И да, если вдруг стейт откатится по каким-либо причинам - это, конечно, плохо, но вариантов у нас нету.
А насчет компресии - это хорошо. Давно пора.
А насчет компресии - это хорошо. Давно пора.
А как вы масштабируетесь? Запросы ж при балансировке в разные бэки могут прилетать
OB
Нельзя. Не потянет. У нас архитектура построена по принципу: Пока пользователь подключен - весь его стейт в памяти того бека, куда он подключен. Как отключится - положим обратно в базу. И да, если вдруг стейт откатится по каким-либо причинам - это, конечно, плохо, но вариантов у нас нету.
А насчет компресии - это хорошо. Давно пора.
А насчет компресии - это хорошо. Давно пора.
Мы сейчас с psycopg экспериментируем передачу jsonb в бинарном виде, выигрыши видны, но там не про компрессию.
W
а если тот бэк внезапно упадет?)
Значит не судьба. Не пишите код, который падает. У нас пока получается.
W
Не всегда, правда... Но достаточно.
W
Мы сейчас с psycopg экспериментируем передачу jsonb в бинарном виде, выигрыши видны, но там не про компрессию.
Еще лучше.
V
Значит не судьба. Не пишите код, который падает. У нас пока получается.
ну это как на мотоцикле ездить. ты можешь делать все правильно, но все равно есть шанс что откуда-нибудь дурак прилетит)
OB
Еще лучше.
Можешь с Даниеле поговорить про это, он на конфе доклад и туториал делает.
W
ну это как на мотоцикле ездить. ты можешь делать все правильно, но все равно есть шанс что откуда-нибудь дурак прилетит)
Да. И в этом случае будет откат. Проще решить проблемы с пользователями из-за отката, чем, вместо одной тачки с Пг использовать 30 (это если все данные в базе будут) и тормозить все операции пользователя (а там реально от пользователя одна команда в секунду может быть, а пользователей... Кстати надо посмотреть)
OB
А пробовали ssl-компрессию включать?
W
А пробовали ssl-компрессию включать?
Во время тестов не пробовали. Про ssl компрессию знаю, но не проверяли. Все руки не дошли. Во время тестов нам как-бы решение сейчас надо было... После того как мускуль вслед за монгой развалился с уносом бекапов.
OB
Во время тестов не пробовали. Про ssl компрессию знаю, но не проверяли. Все руки не дошли. Во время тестов нам как-бы решение сейчас надо было... После того как мускуль вслед за монгой развалился с уносом бекапов.
Можно вообще написать свою функцию, которая передает jsonb как есть сжатый, но тогда в приложении надо слишком много знать о потрохах постгресаб
W
Можно вообще написать свою функцию, которая передает jsonb как есть сжатый, но тогда в приложении надо слишком много знать о потрохах постгресаб
Не, на такие жертвы ради возможность селектить из стейта мы пойтить не готовы. По крайней мере пока что ))