IS
Вот так и победим пиратство, one community at a time
👍
set hive.tez.java.opts - в hive
или ps -eo pid,user,pcpu,cmd --sort -pcpu | grep application_1564490628193_26776 | head - cmd процесса
Size: a a a
2020 October 11
2020 October 12
AA
Спасибо.
Именно про этот параметр хайва я и говорил. Но он не пустой. И если пользователь через него просто размер хипа передаст, то потеряются другие опции (хотя, там в основном про GC)
Именно про этот параметр хайва я и говорил. Но он не пустой. И если пользователь через него просто размер хипа передаст, то потеряются другие опции (хотя, там в основном про GC)
AA
Тез это ж чай
Тез это туроператор жи
P
Тез это туроператор жи
И да)
P
Тез это туроператор жи
Он только вроде тез тур
А
Спасибо.
Именно про этот параметр хайва я и говорил. Но он не пустой. И если пользователь через него просто размер хипа передаст, то потеряются другие опции (хотя, там в основном про GC)
Именно про этот параметр хайва я и говорил. Но он не пустой. И если пользователь через него просто размер хипа передаст, то потеряются другие опции (хотя, там в основном про GC)
да, неправильно его перетирать
А
Спасибо.
Именно про этот параметр хайва я и говорил. Но он не пустой. И если пользователь через него просто размер хипа передаст, то потеряются другие опции (хотя, там в основном про GC)
Именно про этот параметр хайва я и говорил. Но он не пустой. И если пользователь через него просто размер хипа передаст, то потеряются другие опции (хотя, там в основном про GC)
размер хипа для воркеров tez-hive + yarn передается же параметром:
--hiveconf hive.tez.container.size=8000
AA
Вот не уверен, что это то, что нужно. Но спасибо, проверю.
Текущие параметры хайва хотя бы видно сразу в cli
Текущие параметры хайва хотя бы видно сразу в cli
А
через hive.tez.java.opts не все, кста, параметры можно поменять. К примеру тип GC там не поменять
SD
Всем привет. Друзья, возник такой вопрос: в Oozie есть spark2 action и есть возможность запускать spark-submit через shell. Админы хадупа без объяснения настаивают на запуске через shell. Может кто пояснить в чем преимущество? Я пока что только вижу что для запуска через shell требуется два контейнера: один непосредственно на shell, второй на spark.
A
не могу сказать про 5й узи, но до 4го включительно у узи всегда 2 контейнера
A
1 апп мастер для MR джобы
1 сам экшен (map task в логах)
1 сам экшен (map task в логах)
A
запрос на запуск через шел достаточно странный
особенно в контекте что в этом случае будет всегда использоваться системный спарк для сабмита
в случае екшена если правильно сформировать класспас можно любую версию использовать (узи сразу проведет локализацию, а потом запустит этот java action, у нас по крайней мере так сделано)
особенно в контекте что в этом случае будет всегда использоваться системный спарк для сабмита
в случае екшена если правильно сформировать класспас можно любую версию использовать (узи сразу проведет локализацию, а потом запустит этот java action, у нас по крайней мере так сделано)
SD
Спасибо, стало чуть понятнее
A
2 контейнера это легаси от ещё старой мэп редьюс архитектуры самого хадупа
в 5м вроде как сделали уже нормально
в 5м вроде как сделали уже нормально
ME
А у ливи есть какие-то ограничения на число одновременных интерактивных сессий? У меня тут 15 задач запускается и чот ливи падает на этом...
ME
Да, есть такое, при дефолтном конфиге возможно только 10 сессий одновременных: https://issues.apache.org/jira/browse/LIVY-745
AX
Я не бот но не читал 😛
AA
размер хипа для воркеров tez-hive + yarn передается же параметром:
--hiveconf hive.tez.container.size=8000
Что-то неоднозначный этот параметр какой-то...
А
Что-то неоднозначный этот параметр какой-то...
чем неоднозначный?