神
Переправил yarn.nodemanager.local-dirs распихав по дискам выданным в hdfs
Size: a a a
2019 September 27
t
очереди еще смотри, но это вероятно проблема ярна
神
Падать перестал
t
он решает где спарку контейнеры разворачивать
神
очереди еще смотри, но это вероятно проблема ярна
Это не проблема, судя по тому что на топикопартицию выдаётся ядро, но не экзекутор. Похоже это by disign
t
не
t
там бывает, что партиции неровно к воркерам прибиваются, это да
t
это лечится изменением количества воркеров/партиций в топике или .repartition перед работой с данными
t
но если воркеры тусят на одной ноде, это не проблема спарка
S
神風
Переправил yarn.nodemanager.local-dirs распихав по дискам выданным в hdfs
аккуратно с этим
при уменьшении количества свободного места до 10% ярна встанет
а для хдфса вроде и норм быть настолько заполненным
при уменьшении количества свободного места до 10% ярна встанет
а для хдфса вроде и норм быть настолько заполненным
神
Ещё момент, почему то на топике с "толстыми" записями trigger 1 minutes не работает нифига. Вот уже 11 минут пашет. На hdfs тишина.
t
神風
Ещё момент, почему то на топике с "толстыми" записями trigger 1 minutes не работает нифига. Вот уже 11 минут пашет. На hdfs тишина.
триггер к размеру записей не имеет отношения (это вещи из разных миров в спарке).
神
триггер к размеру записей не имеет отношения (это вещи из разных миров в спарке).
Это повод записать в папку назначения. Но вот наблюдаю я это поведение именно на топике с жирными записями.
t
не, триггер всего лишь запускает функцию getBatch, когда getOffset возвращает не None
t
t
в папку назначения пишет sink
OP
на сколько сложно секурность поднять спарк - хбейз ?
EN
Дата инженеры. Есть вопрос нуба про HBase splitting, region servers.
Есть 40 машин. Есть rowkey (похож на YYYY-MM-DD+дополнительные параметры).
Создал таблицу, и вижу что он пишет только в 2 table regiona и они оба на одном region server???
Хотя всего 40 машин и на каждой по регионсерверу ...
Что пошло не так?
Надо было SALTED 40 поставить?
Есть 40 машин. Есть rowkey (похож на YYYY-MM-DD+дополнительные параметры).
Создал таблицу, и вижу что он пишет только в 2 table regiona и они оба на одном region server???
Хотя всего 40 машин и на каждой по регионсерверу ...
Что пошло не так?
Надо было SALTED 40 поставить?
神
Дата инженеры. Есть вопрос нуба про HBase splitting, region servers.
Есть 40 машин. Есть rowkey (похож на YYYY-MM-DD+дополнительные параметры).
Создал таблицу, и вижу что он пишет только в 2 table regiona и они оба на одном region server???
Хотя всего 40 машин и на каждой по регионсерверу ...
Что пошло не так?
Надо было SALTED 40 поставить?
Есть 40 машин. Есть rowkey (похож на YYYY-MM-DD+дополнительные параметры).
Создал таблицу, и вижу что он пишет только в 2 table regiona и они оба на одном region server???
Хотя всего 40 машин и на каждой по регионсерверу ...
Что пошло не так?
Надо было SALTED 40 поставить?
Сделай presplit
神
Он в твоём варианте по дефолту пишет в один регион сервер, потом сплитит.