e
был такой проект, HPL/SQL, но я не знаю статус
Хороший проект)) он вошёл в дистрибутив , но ... внешние ограничения.
Size: a a a
2021 March 02
e
как архитектор я бы переделывал на микросервисы конечно, in-database процедуры без базы данных это еще хуже чем обычные процедуры в базе
Мне не понятно)) микросервисы на хадупе ?
AZ
Мне не понятно)) микросервисы на хадупе ?
микросервисы на чем угодно, там же у вас наверное динамический SQL по метаданным?
AZ
если курсоры то будет еще больнее
e
микросервисы на чем угодно, там же у вас наверное динамический SQL по метаданным?
Ну да. Sql с параметрами . Без курсоров.
AZ
Ну да. Sql с параметрами . Без курсоров.
ну вот, вы генерите и сабмитите SQL в хайв из вашего микросервиса, метаданные можно в какой-нибудь маленькой базе хранить
D
Господа, что бы вы сказали на попытку отыскать SQL engine поверха k8s+ceph для вычислений с данными по 7-10mln записей в день?
e
Т.е. промежуточные таблицы на каждый чих ?
AZ
Т.е. промежуточные таблицы на каждый чих ?
это уже зависит от деталей, но в пределе - да, зато будет много данных (и какой-то чекпоинтинг для длительных процессов)
AZ
вообще надо начать этот разговор с пристального взгляда на архитектора который такое предложил, но тут уже не технические вопросы
T
Dmitriy
Господа, что бы вы сказали на попытку отыскать SQL engine поверха k8s+ceph для вычислений с данными по 7-10mln записей в день?
10 мл можно просто в базу положить
T
Dmitriy
Господа, что бы вы сказали на попытку отыскать SQL engine поверха k8s+ceph для вычислений с данными по 7-10mln записей в день?
Вы сначала размеры оцените свои. А так presto/trino должно подойти
А
почему бы не использовать spark? - код на драйвере - это аналог pl/sql
e
вообще надо начать этот разговор с пристального взгляда на архитектора который такое предложил, но тут уже не технические вопросы
*В ит меня одно радует, что из-за ошибок нет риска для жизни. 😁 Нервы не в счёт .
T
*В ит меня одно радует, что из-за ошибок нет риска для жизни. 😁 Нервы не в счёт .
Ребята из Боинга тоже так думали
AZ
Dmitriy
Господа, что бы вы сказали на попытку отыскать SQL engine поверха k8s+ceph для вычислений с данными по 7-10mln записей в день?
Я бы сказал что вам нужно познакомиться с базами данных, они классные!
T
Я бы сказал что вам нужно познакомиться с базами данных, они классные!
+++
AZ
*В ит меня одно радует, что из-за ошибок нет риска для жизни. 😁 Нервы не в счёт .
У вас какое-то особенное ИТ
DZ
*В ит меня одно радует, что из-за ошибок нет риска для жизни. 😁 Нервы не в счёт .
Главное с Бабушкиным не работать
N
да вот немного должно быть
Дефолтные значения я не менял, но спарк почему-то в 300 секунд не укладывается и падает с таймаутом. Я ща пока убрал бродкаст джоин, посмотрим, что скажут)
Дефолтные значения я не менял, но спарк почему-то в 300 секунд не укладывается и падает с таймаутом. Я ща пока убрал бродкаст джоин, посмотрим, что скажут)
А перестартовать трифт-сервер с уменьшенным доспустимым бродкастом? Чтобы он не выбирал его постоянно.