Просто через classpath. Если у вас bare metal, то все хадуповские конфиги должны лежать на машине, например в etc. А приложения должны подклбчать их через переменные окружения и classpath.

Ок, посмотрим

Привет всем! Есть в спарковом датафрейме строковое поле с жисоном. Возможно ли записать его в posgtres через write.jdbc таким образом, чтобы постгря проставила ему тип jsonb? Если кто такое делал, подскажите, как, пожалуйста. Пока проставляю этот тип через ALTER TABLE после записи уже, но, мб, можно сделать это правильнее?

Если ничего не найдется можно подумать над своим data source через DataSourceV2

Зачем свой датасоурс. Это после последнего самита пошла мода писать свои дата соурсы

Проще свой rdd сделать и надёжнее .

Иван has been banned! Reason: CAS ban.

Идет набор в новую группу профессионального онлайн-курса «Data Engineer». Если слова Hadoop, MapReduce, Spark (и не только!) для вас не пустой звук – это ваш курс.

📌Изучайте программу и минимальные требования к поступающим, проходите вступительное тестирование и присоединяйтесь с welcome-скидкой: https://otus.pw/QZDM/

Что даст вам этот курс:
📌 знание ключевых способов хранения и методов обработки больших объемов данных, а также стоимости их внедрения;
📌 умение работать с распределенными система в контексте Hadoop экосистемы;
📌практические навыки разработки приложений с использованием программной модели MapReduce ;
📌опыт использования распределенной файловой системы (HDFS).

Делиться с вами своей экспертизой будут преподаватели и наставники курса, среди которых Егор Матешук (Senior Data Engineer) и Артемий Козырь (Data Engineer).

Приходите учиться на боевых задачах у настоящих профессионалов.

только эти два преподавателя, хм)

Добрый день. По клаудэра хадупу только этот канал? В поиске ещё иранский(?)

Ну тут все, не только хадуп и не только клоудеры

знакомы?

слышал что-то про них, да

третий препод на курсе, говорят, тоже может чему-то хорошему научить)

не все поняли что ты так на себя намекаешь, а четвертый как?

тоже молодец

нас вежливо попросили, мы не отказали

да-да, спасибо что разместили

А есть ещё у нью про лаба курс, есть между ними разница кроме как в цене?

Добра!
HADOOP
Можно как то change policy на множество файлов, но так что бы не на родительскую директорию, а с указанием конкретных файлов (не через цикл)?