АА
ребят а кто подскажет по JupyterHub
Size: a a a
2020 October 28
SS
суть такова: есть hbase-kafka-proxy, который репликацию HBase заруливает в Kafka, но в топике Kafka в итоге сообщения с мутациями ( rowkey + измененное поле)
AZ
ребят а кто подскажет по JupyterHub
а какой у вас spawner/authenticator?
АА
меня интересует, я правильно понимаю что настройки для procy user прописываются в core-site.xml? как после рестартить конфиг? у меня нет амбари на текущий момент?
АА
а какой у вас spawner/authenticator?
YarnSpawner использую
SS
надо получить полную строку!!
для этого хотим Spark Streaming, но сначала отлаживаемся на маленькой батчевой порции данных - делаем лукап по RDD с rowkey мутаций в HBase
для этого хотим Spark Streaming, но сначала отлаживаемся на маленькой батчевой порции данных - делаем лукап по RDD с rowkey мутаций в HBase
АА
@dartov а авторизация через pam я так понимаю
SS
надо получить полную строку!!
для этого хотим Spark Streaming, но сначала отлаживаемся на маленькой батчевой порции данных - делаем лукап по RDD с rowkey мутаций в HBase
для этого хотим Spark Streaming, но сначала отлаживаемся на маленькой батчевой порции данных - делаем лукап по RDD с rowkey мутаций в HBase
https://gist.github.com/ssheremeta/6d28db0cff10e19bff741c92b756801d
может сразу ошибку в коде увидите?
может сразу ошибку в коде увидите?
AZ
суть такова: есть hbase-kafka-proxy, который репликацию HBase заруливает в Kafka, но в топике Kafka в итоге сообщения с мутациями ( rowkey + измененное поле)
что такое поле, cell?
SS
что такое поле, cell?
да! у нас поверх HBase используется Phoenix - поэтому используем и терминологию таблиц
AZ
меня интересует, я правильно понимаю что настройки для procy user прописываются в core-site.xml? как после рестартить конфиг? у меня нет амбари на текущий момент?
да, прокси пользователя надо писать в core-site.xml, ну и для этого пользователя надо иметь SPN и keytab
АА
а если не используется keytab
АА
просто учетки ОС
AZ
а если не используется keytab
в хадупе безопасность выключена? (керберос)
АА
по настройкам керберос я так понял нет
АА
ну т.е сам керберос не настроен
AS
https://gist.github.com/ssheremeta/6d28db0cff10e19bff741c92b756801d
может сразу ошибку в коде увидите?
может сразу ошибку в коде увидите?
у results вызови .toList вместо .toIterator
AZ
по настройкам керберос я так понял нет
сделайте sudo su - <ваш пользователь JH> на сервере JH и потыкайте HDFS через CLI
АА
так тыкал всякие hdfs dfs -ls и т.п
АА
я могу скрин ошибки сюда показать?