Логи зепелина над смотреть, там будет полный Трейс

таки нашел логи, спасибо

Прошу обратную связь от Сообщества.

Dark Side Cloud (рабочее название)
Визуальный конструктор облачной архитектуры. Автоматизируем создание, управление и деплой серверной инфраструктуры.

1. Сокращает время создания и настройки облачной инфраструктуры.
2. Вы всегда в курсе текущей структуры проекта.
3. Не нужен системный администратор.

Теперь вы видите как устроен ваш cloud formation: весь целиком и как работают его отдельные части. Визуально. Библиотека готовых решений. Можно доработать и задеплоить одной кнопкой.

Работайте с облачной инфраструктурой как с конструктором сайтов.

Подробнее здесь: https://bit.ly/dscloud-ru

👍

бла-бла-бла

а где видео или хотя бы скрины?

я понимаю что ещё не готово, но концепт то уже должен быть или “подключиться” это дать денег на идею даже без мокапов?

а кто нибудь дружил Clickhouse и спарк

Да. У нас КХ и Спарк

как льете в кх?

я писал плагин для КХ и Спарка

есть сурсы? Что он делал?

сейчас работаю над тем, чтоб заопенсорсить

Граждане, дайте совет. Задача такая.
Есть таблица X. Живет в HBase, rowkey некий guid, всего ~16 млрд. Переливается инкрементно в КХ.
Есть вторая таблица X_HIST - история событий, произошедших в жизни X. Живёт в HBase, rowkey (guid X; тип события - 0,1,2,N ; ts события).  Тоже переливается инкрементно в КХ.  Всего ~40 млрд событий. В месяц где-то по 1,5 млрд подвозят новых.  

Из множества X_HIST довольно недорого выделяется инкремент ~3 млн. и отклыдвается в сторону. После этого из него отбираются события с типом 6 (1,5 млн). Задача-по каждому такому событию слазить в полную историю X_HIST и посмотреть, что было раньше события 6. Ну, например, посчитать количество событий типа 2 и найти дату самого раннего события с типом 0.
На КХ пакетно это не поехало, не лезет в память.

Вопрос-как и на каких компонентах более лутше все это запилить? В голову приходят HBase MR, мультитредовый самопис на HBase API, spark-вычитать инкремент и потом map/forEach.

в плане записи , например. позволял записывать записи в различных шарды по различным стратегиям шардирования

что там конкретно? Пушдаун? Лоадинг какой-то?

КХ могет из паркета HDFS/S3 читать, если че.

льете через jdbc?

ага, у меня gs

пушдауна пока не было. Автоматически схему определяет и заливает