Size: a a a

2021 March 18

S

Serg Slipushenko in Data Engineers
Любой антипаттерн на то и антипаттерн что бы его использовать только когда нужно😏
источник

A

Alex in Data Engineers
Oleg Ilinsky
Привет!
А есть вариант спарковые jdbc запросы к постгресу проксировать через какой-нибудь хост, чтобы не ходить напрямую с экзекуторов?
Так любой пулер постришный ставите и на него натравливаете спарк
источник

A

Alex in Data Engineers
Или я задачу не понял?
источник

OI

Oleg Ilinsky in Data Engineers
Alex
Так любой пулер постришный ставите и на него натравливаете спарк
типа pg bouncer?
источник

A

Alex in Data Engineers
Да, чем не вариант?
источник

GP

Grigory Pomadchin in Data Engineers
skatromb
партиции вроде гоняются, только если выйти за пределы спарковых методов. И то есть лайфхак, как этого избежать, то ли используя пандовые структуры, то арроу, не помню уже — в орейлевской книге было.
эроу всего лишь вместо дефолтного пикла используется
источник

OI

Oleg Ilinsky in Data Engineers
Alex
Или я задачу не понял?
ну там база источник и права к ней урезанные, чисто на посмотреть
Хз, будет ли нормально работать pg bouncer. Ну и, как я понимаю, для my sql и пр. надо будет тоже что-то поднимать.
источник

OI

Oleg Ilinsky in Data Engineers
Думал, вдруг есть универсальный вариант)) если нет, то pg bouncer, конечно, надо попробовать
источник

A

Alex in Data Engineers
Для mysql можно глянуть
https://proxysql.com/
источник

E

Eldar in Data Engineers
Alex
Да, чем не вариант?
я дико извеняюсь за свою некомпетентность в этом вопросе, но jdbc для постгри текстовый протокол или бинарный протокол постгри юзает?
источник

A

Alex in Data Engineers
Бинарные всё
источник

A

Alex in Data Engineers
Oleg Ilinsky
ну там база источник и права к ней урезанные, чисто на посмотреть
Хз, будет ли нормально работать pg bouncer. Ну и, как я понимаю, для my sql и пр. надо будет тоже что-то поднимать.
С постгрей меньше ковырял, в случае proxysql для мускула можно размепить пользователей на проксе в пользователей на базе

И он все прова будет соблюдать
источник

A

Alex in Data Engineers
Но насколько знаю пулеры постри это все умеют
источник

OI

Oleg Ilinsky in Data Engineers
Спасибо большое!!
источник

AZ

Anton Zadorozhniy in Data Engineers
proxysql вообще крутой, он и шардить умеет
источник

AZ

Anton Zadorozhniy in Data Engineers
и кэш само собой
источник

A

Alex in Data Engineers
И шардить и ха и мультиплексирование коннектов

В общем дохера :)
источник

AZ

Anton Zadorozhniy in Data Engineers
ну ха любой баунсер умеет, а тут почти vitess
источник

FS

Fedor Sumkin in Data Engineers
Привет, подскажите канал vertica
источник

FS

Fedor Sumkin in Data Engineers
Поиском ничего не выдает
источник