Size: a a a

2021 February 04

e

er@essbase.ru in Data Engineers
Народ, скажите а kudu хорош? Или уж лучше clickhouse ?
источник

AB

Andrey Bel in Data Engineers
er@essbase.ru
Народ, скажите а kudu хорош? Или уж лучше clickhouse ?
Куда таймсириес и со своими приколами
источник

AB

Andrey Bel in Data Engineers
Andrey Bel
Куда таймсириес и со своими приколами
Бывает пуш даун фильтр нн работает и тд
источник

e

er@essbase.ru in Data Engineers
Ок. Спасибо )
источник

AB

Andrey Bel in Data Engineers
er@essbase.ru
Народ, скажите а kudu хорош? Или уж лучше clickhouse ?
В клике много фишек и тд, ну я может не прав но у них разное применение
источник
2021 February 05

AZ

Anton Zadorozhniy in Data Engineers
Andrey Bel
Куда таймсириес и со своими приколами
Kudu это не timeseries, это вообще не база а storage engine, к ней ещё нужен компьют (чаще всего импала)
источник

AB

Andrey Bel in Data Engineers
Anton Zadorozhniy
Kudu это не timeseries, это вообще не база а storage engine, к ней ещё нужен компьют (чаще всего импала)
Антон спасибо
источник

AB

Andrey Bel in Data Engineers
Чтоб от туда что-то достать использую импалу
источник

RI

Rustam Iksanov in Data Engineers
Кто-то  поднимал hadoop на java 11? Есть опыт как это взлетает? @erzentd вроде ты хотел?
источник

AZ

Anton Zadorozhniy in Data Engineers
Rustam Iksanov
Кто-то  поднимал hadoop на java 11? Есть опыт как это взлетает? @erzentd вроде ты хотел?
Hadoop 3.3 бежит в 11, но Hive AFAIK не выпускал версии с поддержкой 11
источник

MB

Maksim Batsiuk in Data Engineers
Добрый день. Может был у кого-то опыт написания перекладчика с kafka в hadoop (hdfs)? Интересуют показатели (скорость чтения, скорость записи).
источник

RI

Rustam Iksanov in Data Engineers
а hbase?
источник

DZ

Dmitry Zuev in Data Engineers
Maksim Batsiuk
Добрый день. Может был у кого-то опыт написания перекладчика с kafka в hadoop (hdfs)? Интересуют показатели (скорость чтения, скорость записи).
Был, хорошо работает
источник

MB

Maksim Batsiuk in Data Engineers
Dmitry Zuev
Был, хорошо работает
а может есть инфа по цифрам?
источник

DZ

Dmitry Zuev in Data Engineers
Я к чему. Задача решенная сто раз
источник

АР

Андрей Романов... in Data Engineers
у хайва еще открыта задача, например:
https://issues.apache.org/jira/browse/HIVE-22415
источник

A

Alex in Data Engineers
она вроде была готова, основные вопросы с hadoop были
хотя у меня hdfs/yarn client версии 3.2 работает на 11 без проблем
источник

MB

Maksim Batsiuk in Data Engineers
Dmitry Zuev
Я к чему. Задача решенная сто раз
а подскажете где можно ознакомиться с решением? очень интересно
источник

DZ

Dmitry Zuev in Data Engineers
Maksim Batsiuk
а подскажете где можно ознакомиться с решением? очень интересно
Flume например. Можно любым стримингом.
У нас из-за особенностей, alpaka
источник

M

Mi in Data Engineers
Может кто может подсказать, есть ли способ адекватно контролировать размер файла при записи спарком в партиционированную папку?
источник