A
Стучали точно на порт с webhdfs
Size: a a a
2019 May 28
VS
Стучали точно на порт с webhdfs
Да 8020 у нейм ноды
A
Так это же бинарный порт неймноды
A
Вебхдфс по умолчанию на другом висит, посмотрите в настройках сервиса
PA
50070 для webhdfs или 14000 для httpfs
VS
Вебхдфс по умолчанию на другом висит, посмотрите в настройках сервиса
Огромное спасибо. 50070 по дефолту порт у меня. Через него все работает !
VS
50070 для webhdfs или 14000 для httpfs
Спасибо !
2019 May 29
神
Всем привет. Сталкивались с такой проблемой? Hbase 1.2 cdh 5.13 java client из ide создаёт табличку и пишет почти без проблем. Есть замечания по скорости установления соединения с зукипером. Запускаю в ярне - таски валятся Can't get the location for replica 0 . Не подскажете куда копать?
EN
神風
Всем привет. Сталкивались с такой проблемой? Hbase 1.2 cdh 5.13 java client из ide создаёт табличку и пишет почти без проблем. Есть замечания по скорости установления соединения с зукипером. Запускаю в ярне - таски валятся Can't get the location for replica 0 . Не подскажете куда копать?
Место на кластере есть?
神
Место на кластере есть?
Навалом
IK
神風
Всем привет. Сталкивались с такой проблемой? Hbase 1.2 cdh 5.13 java client из ide создаёт табличку и пишет почти без проблем. Есть замечания по скорости установления соединения с зукипером. Запускаю в ярне - таски валятся Can't get the location for replica 0 . Не подскажете куда копать?
Проверял что к правильному зукиперу ходит?
IK
Ребзя кто-нить пробовал настраивать Node Label в Capacity Scheduler в CDH5? Проблема в том что не смотря на выставленую пропертю метки в hdfs не персистятся и после ребута RM они испаряются.
2019 May 30
OP
Реально мониторить размер датафрейма спарка в памяти ? (Размер персиста, и желательно скок максимум хипа будет выделено во время расчета дф )
OP
Нашел что то вроде размера самих объектов в дф
spark.sessionState.executePlan(df.queryExecution.logical).optimizedPlan.stats.sizeInBytesorg.apache.spark.util.SizeEstimator для оценки объектов, по идее можно засунуть и дф, но что возвращает не совсем понятно, df с 0 длиной 41 мб.
И
R
Всем привет. Вопрос такой - у кого есть долгоиграющие spark streaming приложения в продакшене - не встречали ли вы ошибок, связанных с OOM?
Суть ошибки - есть работающая streaming-задача. С ней все нормально, но приблизительно через 12-13 часов после старта все экзекьюторы по очереди умирают от OOM ошибок. Какие настройки можно покачать чтобы избавиться от этой проблемы?
Суть ошибки - есть работающая streaming-задача. С ней все нормально, но приблизительно через 12-13 часов после старта все экзекьюторы по очереди умирают от OOM ошибок. Какие настройки можно покачать чтобы избавиться от этой проблемы?
РА
привет!
РА
тут есть два варика, либо течет сам спарк, либо твой код, либо есть пики нагрузки, тогда просто памяти докинуть
РА
но ты ведь наверное последние две вещи проверил
РА
а не пробовал хип дампы и тред дампы смотреть?