У кого-нибудь есть практика сжатия данных в  hbase?

Я смотрю вроде есть такая опция. А то у меня на кластере место заканчивается :(

сжатие там настраивается в колумн фэмили когда указываешь compression
после того как указал новые данные будут жаться
старые останутся не сжатые
чтобы пожать запустить major compaction надо

в старых версиях клоудеры использовалась старая hbase (в 5.12 точно еще косяк был)
для некоторых алгоритмов которые проходят в jni из-за древнего бага в самой реализации jni парни впихнули sync секцию, в jvm 1.6 это уже было поправлено, но люди продолжают копипастить код

из-за этой секции под высокой нагрузкой на read-only таблицах у меня просадка была до 10х раз (сама таблица небольшая, но чтений на неё было очень много). отключение сжатия конечно больше сожрало на диске, но скорость заметно быстрее

https://issues.apache.org/jira/browse/HADOOP-10027

вот тот баг

-  // HACK - Use this as a global lock in the JNI layer.

то есть даже если кодек сам тредсейф, то парни писали все кодеки по подобию с первым и просто копипастой оно разошлось =(

в 6й клоудере это уже пофишкено (слова консультанта клоудеры еще за год до выхода 6й  клоудеры, что в их ветках он нашел этот бекпорт)

ого, ясно, спасибо за информацию

а Hadoop Yarn и packet manager Yarn для ноды это разные вещи?

абсолютно

Нормальные названия для софта закончились

Сфинксов, например, тоже два

и чая как минимум два

это как в том анекдоте? ту ти ту ту - мол, два чая во второй номер

это как тестовый движок в джсе и гошный роутер)

Я знаю нодовский

хорошо что про апаче 2 хттп сервер который не стали спрашивать

они пишутся немного по-разному

но читаются одинаково

а как новичку начать в hadoop под винду? лучше виртуалку Cloudera поставить?