Кстати, а кто как реализует катастрофоустойчивость?
Реплики по цодам разносит

Таск так и не закрыт
https://issues.apache.org/jira/browse/HDFS-9075

А в разные стойки ставить хадупец стремно

А это не in transition
Failed close?

Вроде нет, с мобилки неудобно, как буду за компом отпишу

привет всем у меня проблема с hortonworks  hive  interactive после  старта 2181  порт , промпт узер пасс  которий не как не могу наити ,

как  jdbc  interacitve  hive работает ?

Мужики подскажите плиз по установке hdp 3.1
Для установки амбари и последующей установки hdp через нее на кластер для rhel7/centos7 сколько репозиториев нужно?
- ambari, hdp, hdp-utils, hdp-gpl ?
или только первые два?  
их только на namenode с которой раскатка или на все хосты еще добавлять? (на других нодах же есть scp, curl,  wget зачем там репы то)

первые 3 точно нужны
не совсем понятно, если есть на нодах доступ в инет, то тогда вообще проблем нет
если инета нет (а судя по всему это так), то тогда тупо на namenode (или где еще достаточно поднять локальный репозиторий) и прописать его на всех нодах (в доке вроде есть)
правда 3.1 глючный, при установке столкнулись с тем, что указываешь ссылки на репозитории, конфигурируешь кластер, доходит до начала установки, и он сбрасывает ссылки в null и ругается. надо руками чистить, и начинать с начала. во второй раз все ставится нормально... что это было - хз

спасибо

Посмотрел подробнее - там ошибка, что не может подконнектиться к регион серверу dl-prod-data-3,16020,1563265474260, а его ни среди живых ни среди мертвых нет. Интересненько. Сейчас попробобую остановить, почистить. Хотя я уже делал это раньше, но частями, а не всё сразу)
ХДФС пока полностью не могу почистить - там есть данные, которые я несколько дней грузил.

На сколько дорогая операция переименовать/переместить директорию в хдфс ?

Около нуля

Атомарные операции только в метаданных неймноды, датаноды не участвуют

Но дерево в неймноде лочится, так что если идёт много операций с метаданными - они замрут

Да, неймноду можно подвесить

хм
сейчас ссылается на живой region server
но почему-то все равно ошибка, что он офлайн
с мастера проверял - сетевой доступ есть, порт слушается 🤔

есть вот такой даже не ворнинг:

[timeline] timeline.HadoopTimelineMetricsSink: Unable to connect to collector, http://dl-prod-master-1:6188/ws/v1/timeline/metrics
This exceptions will be ignored for next 100 times

в логах region serverа, но это как-то не выглядит критичным

Мы из Spark (2.1.0) отправляем messages в Kafka, нам надо что бы был delay 10 s каждые 1000 messages, как это сделать ? либо как лучше гуглить ? :)

Доброго времени суток.

Дано: кластер hadoop на базе Cloudera 6, отдельный сервер с бизнес-приложением

Задача: смонтировать HDFS в локальную файловую систему отдельного сервера (AIX) таким образом, чтобы в точке монтирования оказалась нужная поддиректория HDFS. Конечному пользователю необходимы права для записи файлов в HDFS через эту точку монтирования.

Решение: используя инструмент NFS Gateway HDFS монтируется полностью на целевом сервере, создается symlink на нужную поддиректорию, создается user для записи в эту папку как на целевом сервере, так и на серверах кластера. Настраивается user mapping на NFS Gateway. Конечный пользователь использует созданного user и работает с директорией через symlink.

Вопрос: На сколько верно такое решение? Возможно есть более правильные реализации?
Заранее спасибо за комментарии.

Привет.

Читаю коллекцию из mongodb, столкнулся со следующим случаем

com.mongodb.spark.exceptions.MongoTypeConversionException:

Cannot cast DATE_TIME into a StructType(StructField($date,StringType,true)) (value: BsonDateTime{value=1516911000777})

Схема выглядит вот так

     .add("_id", StringType)
//      .add("created", (new StructType)
//        .add("$date", StringType))
     .add("modified", (new StructType)
       .add("""$date""", StringType))

В базе так:

       "_id": "1000025",
 "created": {
   "$date": "2018-01-14T23:52:36.329Z"
 },
 "modified": {
   "$date": "2018-01-19T04:00:35.603Z"
 },


Как принять этот тип?
Спасибо.