В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1787 membersпожаловаться на группу
2020 March 22

SK

Sergej Khakhulin in Data Engineers
Всем доброго вечера, а в YARN можно динамически распределять ресурсы?(есть application spark который работает все время - thrift и в зависимости от количество задач на кластере хотелась бы динамически добавлять и убирать контейнеры из него. По факту днем там только один app - thrift а ночью там появляются scheduler таски для ETL)
источник
22:39пожаловаться#1

SK

Sergej Khakhulin in Data Engineers
Sergej Khakhulin
Всем доброго вечера, а в YARN можно динамически распределять ресурсы?(есть application spark который работает все время - thrift и в зависимости от количество задач на кластере хотелась бы динамически добавлять и убирать контейнеры из него. По факту днем там только один app - thrift а ночью там появляются scheduler таски для ETL)
или где почитать об этом
источник
22:41пожаловаться#2

AZ

Anton Zadorozhniy in Data Engineers
Sergej Khakhulin
Всем доброго вечера, а в YARN можно динамически распределять ресурсы?(есть application spark который работает все время - thrift и в зависимости от количество задач на кластере хотелась бы динамически добавлять и убирать контейнеры из него. По факту днем там только один app - thrift а ночью там появляются scheduler таски для ETL)
это функция не планировщика YARN (он только разрешает или убивает задачи в очереди), а самого приложения, Spark умеет так делать, называется функция Dynamic Allocation https://spark.apache.org/docs/latest/configuration.html#dynamic-allocation
источник
22:42пожаловаться#3

AZ

Anton Zadorozhniy in Data Engineers
если вы хотите менять настройки планировщика внутри дня - то просто меняйте их, такие функции есть у всяких менеджеров, а для ванили напишите скриптов
источник
22:46пожаловаться#4
2020 March 23

SK

Sergej Khakhulin in Data Engineers
Anton Zadorozhniy
если вы хотите менять настройки планировщика внутри дня - то просто меняйте их, такие функции есть у всяких менеджеров, а для ванили напишите скриптов
Спасибо, помогло
источник
10:47пожаловаться#5

SK

Sergej Khakhulin in Data Engineers
И еще вопрос, thift при запросе жирного SQL выдает Error running query: java.lang.OutOfMemoryError: Java heap space, увеличение YARN_HEAPSIZE до 10gb не помогло
источник
10:48пожаловаться#6

AZ

Anton Zadorozhniy in Data Engineers
Sergej Khakhulin
И еще вопрос, thift при запросе жирного SQL выдает Error running query: java.lang.OutOfMemoryError: Java heap space, увеличение YARN_HEAPSIZE до 10gb не помогло
YARN_HEAPSIZE это настройка RM/NM, вам нужно вашему конкретному приложению дать больше памяти - сначала в самом spark, а потом (если объем больше чем максимальный контейнер у вас в YARN) увеличить размер максимального контейнера в YARN
источник
11:02пожаловаться#7

MB

Mikhail Butalin in Data Engineers
Столкнулся с реализацией CDH(cloudera) и большим количеством дисков на одной датаноде. Каждый диск примонтирован отдельно.
источник
11:06пожаловаться#8

MB

Mikhail Butalin in Data Engineers
Я правильно понимаю что репликация HDFS происходит между томами, а не датанодами?
источник
11:06пожаловаться#9

AZ

Anton Zadorozhniy in Data Engineers
Mikhail Butalin
Я правильно понимаю что репликация HDFS происходит между томами, а не датанодами?
нет, репликация происходит между нодами, тома на сервере нужны только для повышения производительности
источник
11:08пожаловаться#10

MB

Mikhail Butalin in Data Engineers
странно...
источник
11:08пожаловаться#11

MB

Mikhail Butalin in Data Engineers
тогда если ноду целиком вырубить то недолжны появляться missing blocks, а у меня появились :)
источник
11:09пожаловаться#12

MB

Mikhail Butalin in Data Engineers
и по доке вроде как написано что между томами реплицируется
источник
11:09пожаловаться#13

АЖ

Андрей Жуков in Data Engineers
Mikhail Butalin
и по доке вроде как написано что между томами реплицируется
балансируется - да
не реплицируется
источник
11:09пожаловаться#14

АЖ

Андрей Жуков in Data Engineers
Mikhail Butalin
тогда если ноду целиком вырубить то недолжны появляться missing blocks, а у меня появились :)
может, где-то поставили setrep 1? %)
источник
11:09пожаловаться#15

MB

Mikhail Butalin in Data Engineers
неа
источник
11:10пожаловаться#16

MB

Mikhail Butalin in Data Engineers
везде - 3
источник
11:10пожаловаться#17

MB

Mikhail Butalin in Data Engineers
это и беспокоит
источник
11:10пожаловаться#18

MB

Mikhail Butalin in Data Engineers
попробую на домашнем стенде воспроизвести, посмотрим что получится
источник
11:10пожаловаться#19

AZ

Anton Zadorozhniy in Data Engineers
временные файлы могут быть с RF1
источник
11:11пожаловаться#20