Size: a a a

2019 July 18

K

KrivdaTheTriewe in Data Engineers
Hive cli говорит последним логом INFO: Ok и ничего не происходит
источник
2019 July 19

EN

Eldar Nezametdinov in Data Engineers
нужен совет экспертов для начинающих.
Завел нового пользователя (newUser) админа амбари в амбари.
Сделал для него папку в hdfs /user с правами newUser:hdfs.
На датанодах сделал локального юзера (newUser) с группами hdfs, hadoop.
Пытаюсь в Files View посмотреть и пишет, что не может прочитать директорию /user/ambari-qa у которой права ambari-qa:hdfs
Ведь они в одной группе... что надо сделать еще?(
__
UPD: Вопрос не актуален. Оказывается нужно было еще и на namenode создавать... Странно, но ладно..
источник

AB

Andrei Boaghe in Data Engineers
Привет всем.
Только только начал работать с Кафкой, и есть небольшой вопросик:

Дано: На сервере установленна Kafka с Kerberos'ом. Я пытаюсь посмотреть список топиков (kafka-topics --list --zookeeper cloud-db2699.**cloud.com:2181cloud.com:2181) но вижу только логи от zookeeper (скрин логов могу приложить, если надо :))
Вопрос: Правильно ли я понимаю, что я не могу увидеть список топиков, потому что мой юзер не имеет прав.
Вопрос 2: Если я выполню команду: "kinit -k -t user_kafka.keytab user_kafka" для юзера, который имеет права видеть/писать в кафку, и потом попробую опять посмотреть список топиков, то всё будет ок? :)
источник

S

Stanislav in Data Engineers
попробуй - узнаешь
источник

S

Stanislav in Data Engineers
но кафки и зукипер - разные вещи
источник

c

ciplenok57 in Data Engineers
Всем привет. Решил попробовать себя в хадупе, хочу развернуть у себя небольшую лабораторную установку для обучения)
Может кто-то посоветовать материал для реализации идеи?
источник

AZ

Anton Zadorozhniy in Data Engineers
ciplenok57
Всем привет. Решил попробовать себя в хадупе, хочу развернуть у себя небольшую лабораторную установку для обучения)
Может кто-то посоветовать материал для реализации идеи?
если вы хотите учится сами ставить и управлять инфраструктурой (свое железо) - https://docs.hortonworks.com/HDPDocuments/Ambari-2.7.3.0/bk_ambari-installation/content/ch_Getting_Ready.html если вы хотите заняться дата инжинирингом и попробовать писать джобы - https://cloud.google.com/dataproc/
источник

AZ

Anton Zadorozhniy in Data Engineers
ну а если вам интересно на конкретном облаке - берите документация от облака, EMR/Dataproc/HDInsight и так дальше
источник

РА

Рамиль Ахмадеев in Data Engineers
источник

РА

Рамиль Ахмадеев in Data Engineers
самый быстрый способ поиграть в хадуп
источник

S

Stanislav in Data Engineers
а если интересен спарк - https://spark.apache.org/downloads.html
источник

c

ciplenok57 in Data Engineers
Всем спасибо  :)
И ещё вопрос. Существуют ли какие-то стажировки для студентов в этой области? На hh толковых стажировок нет, может где-то в других местах искать надо?)
источник

YI

Yukari I in Data Engineers
Играл со своим хадупом
@
Проиграл
источник

YI

Yukari I in Data Engineers
ciplenok57
Всем спасибо  :)
И ещё вопрос. Существуют ли какие-то стажировки для студентов в этой области? На hh толковых стажировок нет, может где-то в других местах искать надо?)
Да, существуют. В частности в банке стажируются всякие студенты и взрослые дядьки
источник

YI

Yukari I in Data Engineers
ciplenok57
Всем спасибо  :)
И ещё вопрос. Существуют ли какие-то стажировки для студентов в этой области? На hh толковых стажировок нет, может где-то в других местах искать надо?)
Но на стажировку в банке необходимо пройти конкурс, сложная проверка безопасности, много всего. За то платят зп за 4 часа а день
источник

YI

Yukari I in Data Engineers
Платят мало, а опыта много
источник

AK

Alexander Klein in Data Engineers
Yukari I
Да, существуют. В частности в банке стажируются всякие студенты и взрослые дядьки
Спешу заметить, что в банках эта штука для пары человек в год и далеко не во всех
источник

c

ciplenok57 in Data Engineers
Отлично. Спасибо всем :)
источник

YI

Yukari I in Data Engineers
Alexander Klein
Спешу заметить, что в банках эта штука для пары человек в год и далеко не во всех
У нас двоих стажеров взяли
источник

АЖ

Андрей Жуков in Data Engineers
ciplenok57
Всем спасибо  :)
И ещё вопрос. Существуют ли какие-то стажировки для студентов в этой области? На hh толковых стажировок нет, может где-то в других местах искать надо?)
А толковые - это какие?
источник