Size: a a a

2021 July 02

АК

Алекс Крам in Data Engineers
dwh
источник

АК

Алекс Крам in Data Engineers
у нас компания больше про разработку и только формируется дата отдел, у него нет опыта работы с хранилищами
а я раньше вопросами окружения не занимался, просто так сказать видел какое окружение должно быть
источник

СХ

Старый Хрыч... in Data Engineers
базу тем более
источник

СХ

Старый Хрыч... in Data Engineers
особенно нагруженная если
источник

DP

Dmitriy Pavlov in Data Engineers
А что за БД?
источник

АК

Алекс Крам in Data Engineers
pg
источник

СХ

Старый Хрыч... in Data Engineers
если бд больше 500 гб, шлите его далеко и надолго
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Классические девопсы не умеют в (биг-)дату, даже недавний собес в devops jobs показал, что важнее знать куб, нежели базы. Рекомендую нанять конкретных людей под конкретные задачи, ну либо не удивляться, почему у вас все через одно место и медленно
источник

АК

Алекс Крам in Data Engineers
на старте около 250-300гб
источник

СХ

Старый Хрыч... in Data Engineers
уже не стоит в докер, особенно со средним девупсом
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
да сколько бы не было, если потенциально вы не понимаете оверхеада и рисков, то тут уже ничего не поможет...
источник

СХ

Старый Хрыч... in Data Engineers
основная пробелма это первые cgroups, мы недавно переводили кликхаус с докера на подман
источник

СХ

Старый Хрыч... in Data Engineers
докер просто терял связь с контейнером когда тот начинал выжирать больше чем может дать хост
источник

СХ

Старый Хрыч... in Data Engineers
а пг сам по себе ещё тот гемор
источник

СХ

Старый Хрыч... in Data Engineers
но а по моему вопросу, кто пробовал последний tez с java 11?
источник

СХ

Старый Хрыч... in Data Engineers
а так же спарк на 11 java+zgc?
источник

AZ

Anton Zadorozhniy in Data Engineers
там еще и выгоды непонятные, обновлять через простую замену образа не получится (так постгря просто не работает), супервайзор ничем не лучше у докера, юзер мапы с каким-нибудь GSSAPI не работают, я просто не знаю зачем такое может потребоваться
источник

AZ

Anton Zadorozhniy in Data Engineers
нет
источник

СХ

Старый Хрыч... in Data Engineers
модненько
источник

СХ

Старый Хрыч... in Data Engineers
сейчас многие контороы кубер ставят на 3 контейнера
источник