A
Это кстати почему и идёт деление по vcpu и врубание cgroups
На cpu уже они работают и сейчас идёт обсуждение по включению их для io
На cpu уже они работают и сейчас идёт обсуждение по включению их для io
Size: a a a
2019 July 11
MB
вобщем я надеюсь что зарезав количество VCPU на очередь, получится снизить IO
AS
у меня пришлось на IO львиная нагрузка
вангую, hive job зачитывали много с дисков , а потом писали много в hbase
MB
хз, я не разобрался до конца.
MB
там из Kylin чтото в TEZ прилетело и начался адок
AS
там из Kylin чтото в TEZ прилетело и начался адок
еще хуже, Kylin читал тоже из hbase
MB
нуда, яж писл выше...
MB
надо както калин запереть в своей группе и не дать ему выжирать 100%
AS
надо както калин запереть в своей группе и не дать ему выжирать 100%
а в чем проблема, заведи для него отдельную очередь
http://kylin.apache.org/docs23/install/advance_settings.html
http://kylin.apache.org/docs23/install/advance_settings.html
PA
И всё становится намного веселей когда ноды несиметричные :) (разные точки монтирования дисков, их разное количество, разные рам и цпу)
это прибивается менеджером конфигурации)
и всё вновь замечательно 🌈
и всё вновь замечательно 🌈
MB
прибивается - не правилно
MB
или имелось ввиду - фиксируется?
MB
а в чем проблема, заведи для него отдельную очередь
http://kylin.apache.org/docs23/install/advance_settings.html
http://kylin.apache.org/docs23/install/advance_settings.html
ага, спасибо
PA
для меня это почти одинаково))
параметризация и параметры к тачке привязаны
параметризация и параметры к тачке привязаны
PA
также параметры на группы хостов и дефолтные параметры
RB
Добрый день! Какие хранилища в проде используют для хранения временных рядов?
Т.е. есть время (таймстемп) и связанное с этим временем значение (джсон). Самые частые запросы это выдать значения за временной интервал, т.е. от одного таймстемпа до другого.
Пока суммарно значений по количеству около миллиарда, ожидается рост до 5-10 млдр. Плюс хочется иметь быструю заливку данных (не критично).
Т.е. есть время (таймстемп) и связанное с этим временем значение (джсон). Самые частые запросы это выдать значения за временной интервал, т.е. от одного таймстемпа до другого.
Пока суммарно значений по количеству около миллиарда, ожидается рост до 5-10 млдр. Плюс хочется иметь быструю заливку данных (не критично).
РА
привет
A
то есть хочется вытянуть миллиард значений на запросе?
РА
посмотри в сторону Cassandra или ClickHouse
RB
то есть хочется вытянуть миллиард значений на запросе?
Не, на запросе, в среднем, по 100-10000, не сильно больше