Получается внутри rdd.foreach

там оно и будет налл

Я сейчас перепишу и внутри буду только писать в hbase и кафку

контекст не сериализуется если что, поэтому оно налл вернуло

так нельзя делать

+

в как пишешь в них? Любые объекты сессии не сериализуются если что

Пишу через df.write.format().save. там есть использование сессии?

да, так что если ты в фориче делаешь опять что-то у тебя тоже ошибка будет

И как DStream завершать?

foreachRDD норм, речь была о мап операциях рдд

тут я не догоняю. Я сделал kafka streaming. Получаю DStream. Дальше я могу делать map на стриме?

да

ок, а на получившийся DStream[Dataframe] я могу вызвать foreachRDD(_.foreach(A => Unit)), но только, если внутри у меня не будет вызываться нигде sparkSession. Я правильно понимаю?

): ты не путаешь рдд и дистрим? Внутри stream.foreachRDD ты можешь пользоваться контекстом ктоторый у RDD, внутри rdd.foreach ты не можешь пользоваться контекстом;

Подскажите пожалуйста. Вопрос насчет зеппелин, имперсонализация, hdfs, fs.
Из-за имперсонализации в зеппелине - каждый пользователь создает файлы от своего пользователя.
Таким образом при создании таблицы в hive, получается что эту папку перезаписать или удалить может только сам пользователь.
Как сделать на все папки в /apps/hive/warehouse/ права типа 775 вместо 755 текущего...  ? Не вручную, а чтобы при создании было
Чтобы группа пользователей могла редактировать таблицу..
Либо другой какой-нибудь подход...

Менять umask для абсолютно всего как-то неправильно (вроде).....

Какой дистрибутив, если не ваниль, и его версия? Ranger не используешь?

пока не ставили, т.к. даже экспертизы нет, hdp 3.1