MB
на 3млн блоков? врядли...
Size: a a a
2020 March 23
АЖ
YARN_HEAPSIZE это настройка RM/NM, вам нужно вашему конкретному приложению дать больше памяти - сначала в самом spark, а потом (если объем больше чем максимальный контейнер у вас в YARN) увеличить размер максимального контейнера в YARN
но я бы начал с разбора спарковой джобы, чтоб не от балды контейнеры тюнить
AZ
но я бы начал с разбора спарковой джобы, чтоб не от балды контейнеры тюнить
да, так правильно делать
СХ
но я бы начал с разбора спарковой джобы, чтоб не от балды контейнеры тюнить
ты просто не современный
AZ
И еще вопрос, thift при запросе жирного SQL выдает
Error running query: java.lang.OutOfMemoryError: Java heap space, увеличение YARN_HEAPSIZE до 10gb не помоглоя на всякий случай добавлю что настройки spark и yarn между собой не связаны, yarn просто дает границы (и преемптит контейнеры, если включено), в остальном вам надо осознанно настраивать размеры Spark executor и следить чтобы они были не больше разрешенных YARN пределов, но и не оставалось "пустых" мест, когда контейнер большой а executor маленький
AZ
опытные пользователи с этим знакомы обычно
SK
я на всякий случай добавлю что настройки spark и yarn между собой не связаны, yarn просто дает границы (и преемптит контейнеры, если включено), в остальном вам надо осознанно настраивать размеры Spark executor и следить чтобы они были не больше разрешенных YARN пределов, но и не оставалось "пустых" мест, когда контейнер большой а executor маленький
спасибо, уже разобрался, просто видимо голова кипела видимо)
SK
спасибо, уже разобрался, просто видимо голова кипела видимо)
и еще чуть чуть кипит😂
S
кстати про переезжающих на 3 версии
кто-то уже раскатывался на 8 рхел/центос хадупы?
все ли там ок?
@xhumanoid
кто-то уже раскатывался на 8 рхел/центос хадупы?
все ли там ок?
@xhumanoid
AZ
на 3млн блоков? врядли...
если эти блоки были underreplicated то запросто, но если у вас изначально здоровый кластер, нод много, и вы достаете ноду - то не может быть много missing blocks
MB
перед отключением ноды проверял специально. всё было чисто. underrep=0
MB
вобщем странная ситуация
A
кстати про переезжающих на 3 версии
кто-то уже раскатывался на 8 рхел/центос хадупы?
все ли там ок?
@xhumanoid
кто-то уже раскатывался на 8 рхел/центос хадупы?
все ли там ок?
@xhumanoid
CentOS Linux release 7.7
на новом, так как сетапился уже почти год назад, а хост систему никто переезжать сейчас не будет
на новом, так как сетапился уже почти год назад, а хост систему никто переезжать сейчас не будет
A
@Michaelikus
если вы по правильному выключали через декомишен, то сразу на неё запрещаются записи и блоки начинают реплицироваться
если просто погасили, то при активной записи (особенно с replication 1) может появиться много таких блоков, всё зависит от размера кластера и активности записи
если вы по правильному выключали через декомишен, то сразу на неё запрещаются записи и блоки начинают реплицироваться
если просто погасили, то при активной записи (особенно с replication 1) может появиться много таких блоков, всё зависит от размера кластера и активности записи
A
поэтому если нужно рестартануть я ставил на декомишен и через несколько минут рестартовал
как минимум гарантия что не будет в этот момент записей
как минимум гарантия что не будет в этот момент записей
АЖ
@Michaelikus
если вы по правильному выключали через декомишен, то сразу на неё запрещаются записи и блоки начинают реплицироваться
если просто погасили, то при активной записи (особенно с replication 1) может появиться много таких блоков, всё зависит от размера кластера и активности записи
если вы по правильному выключали через декомишен, то сразу на неё запрещаются записи и блоки начинают реплицироваться
если просто погасили, то при активной записи (особенно с replication 1) может появиться много таких блоков, всё зависит от размера кластера и активности записи
я так понял, человек пытается отработать падение ноды
A
ну из падений у меня временные файлы выпадали
A
если он видит много отсутсвующих блоков то сразу же нужно посмотреть где эти блоки расположены, это старые таблицы или временные файлы и какой уровень репликации на них стоял
A
вроде даже в fsck это пишется
S
CentOS Linux release 7.7
на новом, так как сетапился уже почти год назад, а хост систему никто переезжать сейчас не будет
на новом, так как сетапился уже почти год назад, а хост систему никто переезжать сейчас не будет
с учетом оставшихся полугода до конца основной поддержки (
понятно, что можно как с пятеркой жить, но что-то так себе (
понятно, что можно как с пятеркой жить, но что-то так себе (