AZ
В начале и середине десятых было так, от заказчиков с требованием «почините мою кассандру» не было отбоя
Size: a a a
2021 March 04
N
В 2000х оракл дба получали какие-то заоблачные деньги. Особенно oracle certified.
AZ
А уже hbase как только не насиловали, одна шведско-индийская команда оставила по центральной и северной Европе большой след систем с высокой нормализацией, я прям удачно потрудился по их клиентам потом
AZ
Ещё помню раннюю монгу с ее проблемами везде пихали не зависимо от формы входного отверстия
AZ
Сейчас все грамотные, дело своё знают
N
А уже hbase как только не насиловали, одна шведско-индийская команда оставила по центральной и северной Европе большой след систем с высокой нормализацией, я прям удачно потрудился по их клиентам потом
Денормализовывали?
AZ
Денормализовывали?
Да там проще было переделать все, и написать приложение для миграции
AZ
Они разработчикам давали сырой клиент HBase и страницу с вики как правильно читать данные..
AZ
Никакого SDK, никаких метаданных в самой базе или рядом
A
Сейчас все грамотные, дело своё знают
Пихают везде реляционку и страдают меньше
RK
dba должны будут перейти на новый уровень и архитектить структуры. Появились девопсы, будут и архидэбэопсы ^^
Есть в нашей команде девопс ребята. Серьезные вопросы по БД они не решают,только поверхностные. По всем остальным вопросам касаемо реляционных и не реляционных БД мы помогаем коллегам из других команд
RK
Частично ДБА все же останется старым добрым ДБА
VS
Некоторое время имел с ним дело в виде Google Data Fusion. Модно, стильно, молодежно. Менеджеры были в восторге, квадратики можно наговнякать за час и сразу в продакшине. Из минусов кластер очень дорогой, ну и постоянно что-то отваливалось или не работало, выделенный человек чуть ли не целыми днями все это богатство упихивал и палочкой в саппорт тыкал
KS
Ну если хочется транзакций и роллбэков, то мб delta? Или не спарк?
Вот думаю может aws step functions как то пристроить.
KS
Пока что получилось передать параметры из одной step function в glue job а оттуда во вторую step function. Непонятно как передать параметры в многоэтапной step function.
Например вот так работает:
А вот как вызвать из glue job другую glue job и потом результаты передать в оригинальную step function в определенный state.
Например так:
Например вот так работает:
StepFunc1 > GlueJob1 (param1=a)> StepFunc2.
А вот как вызвать из glue job другую glue job и потом результаты передать в оригинальную step function в определенный state.
Например так:
StepFunc1:State_A> GlueJob1 (param1=a)> GlueJob2 (path=results.parquet) > StepFunc1:State_B.
KS
Почитал в инете, советуют записывать промежуточные результаты в S3 bucket или dynamo db, но что-то меня терзают смутные сомнения, что это всё лишнее.
NN
Почитал в инете, советуют записывать промежуточные результаты в S3 bucket или dynamo db, но что-то меня терзают смутные сомнения, что это всё лишнее.
Я из деревни, у нас тут только hdfs есть, но вариант с промежуточными результатами в отдельной бд чёт даже мне кажется подозрительно неоптимальным.
KS
Я из деревни, у нас тут только hdfs есть, но вариант с промежуточными результатами в отдельной бд чёт даже мне кажется подозрительно неоптимальным.
Да, эти городские с жиру бесятся. Как по мне, так я бы передавал напрямки в Step Function.
N
Какие есть мнения по поводу своп разделов на SSD на ходуп-воркерах? Делать или нет?
ME
Какие есть мнения по поводу своп разделов на SSD на ходуп-воркерах? Делать или нет?
А что используете на hadoop воркерах? Просто если что-то джавовое, то вылезать jvm heap на swap всегда больно же