S
Любой антипаттерн на то и антипаттерн что бы его использовать только когда нужно😏
Привет!
А есть вариант спарковые jdbc запросы к постгресу проксировать через какой-нибудь хост, чтобы не ходить напрямую с экзекуторов?
Size: a a a
2021 March 18
A
Так любой пулер постришный ставите и на него натравливаете спарк
A
Или я задачу не понял?
OI
Так любой пулер постришный ставите и на него натравливаете спарк
типа pg bouncer?
A
Да, чем не вариант?
GP
партиции вроде гоняются, только если выйти за пределы спарковых методов. И то есть лайфхак, как этого избежать, то ли используя пандовые структуры, то арроу, не помню уже — в орейлевской книге было.
эроу всего лишь вместо дефолтного пикла используется
OI
Или я задачу не понял?
ну там база источник и права к ней урезанные, чисто на посмотреть
Хз, будет ли нормально работать pg bouncer. Ну и, как я понимаю, для my sql и пр. надо будет тоже что-то поднимать.
Хз, будет ли нормально работать pg bouncer. Ну и, как я понимаю, для my sql и пр. надо будет тоже что-то поднимать.
OI
Думал, вдруг есть универсальный вариант)) если нет, то pg bouncer, конечно, надо попробовать
A
Для mysql можно глянуть
https://proxysql.com/
https://proxysql.com/
E
Да, чем не вариант?
я дико извеняюсь за свою некомпетентность в этом вопросе, но jdbc для постгри текстовый протокол или бинарный протокол постгри юзает?
A
Бинарные всё
A
ну там база источник и права к ней урезанные, чисто на посмотреть
Хз, будет ли нормально работать pg bouncer. Ну и, как я понимаю, для my sql и пр. надо будет тоже что-то поднимать.
Хз, будет ли нормально работать pg bouncer. Ну и, как я понимаю, для my sql и пр. надо будет тоже что-то поднимать.
С постгрей меньше ковырял, в случае proxysql для мускула можно размепить пользователей на проксе в пользователей на базе
И он все прова будет соблюдать
И он все прова будет соблюдать
A
Но насколько знаю пулеры постри это все умеют
OI
Для mysql можно глянуть
https://proxysql.com/
https://proxysql.com/
Спасибо большое!!
AZ
proxysql вообще крутой, он и шардить умеет
AZ
и кэш само собой
A
И шардить и ха и мультиплексирование коннектов
В общем дохера :)
В общем дохера :)
AZ
ну ха любой баунсер умеет, а тут почти vitess
FS
Привет, подскажите канал vertica
FS
Поиском ничего не выдает