аааа

не, удобно канеша (((

ну ты и так делаешь репартишен в 1

если тебе ок хранить много кусочков можешь оставить оригинальное партицирование
прайтись по партициям и каждую превретить в жейсон

это уже не так плохо звучит

Та там 400 строк )))

)

большедата

Коллеги, в следующий вторник мы организуем митап для технических специалистов с пачкой интересных докладов по инструментарию DataOps. Будет разбор таких технологий, как Hudi, Airflow, Trino, Spark over S3 и опыта их реального использования в онпреме и облаке. Тематика хоть и довольно широкая, но все доклады так или иначе вокруг использования всего этого вместе со Spark или в дополнение к нему: после нескольких прогонов могу сказать, что контент получается очень любопытным как для Ops, так и для DE.

Формат - после известных событий только онлайн-трансляция, но с живым чатом.

Присоединяйтесь 🙂

https://cloud.yandex.ru/events/460

онлайн-печаль. очень жаль.

я тоже не то, чтобы в восторге от этого, но это был единственный вариант сохранить дату с учетом количества зарегистрировавшихся и неопределенностью дальнейших ограничений

Очень понимаю: мы по тем же причинам мероприятие срочно двигали.  Но не мог не выразить несогласие с форматом, где кажется нужно пообщаться с докладчиками и лучше бы в живую  - такие уж темы.

Добрый день. Коннектор прикрутили, однако осталась проблема Керберос аутентификации/авторизации. Job создаётся, отображается в yarn, но падает с ошибкой GSS Тикета при попытке достучаться до регионсерверов. Как я понял в этом коннекторе нет функций user group information для применения внутри работы keytab и юзеров. Надо его допиливать, или есть решения?

мы до кербероса пока не дотопали, в планах.

расскажите, если решите.

ну полагаю надо как-то в спарке программно написать kinit

чтобы сканы с ним ходили

да, сами от этого страдаем: темы действительно такие, что было бы здорово обсудить их сразу в офлайне, конечно. здесь могу предложить три варианта: Q&A секции прямо после каждого доклада, обсудить на всех в секции свободного общения после всех докладов или если нет желания/возможности обсуждать при всех - отправить вопросы напрямую мне в ТГ, чтобы потом отдельно собраться и поговорить

🍺

зачем вам мучения с унылым HBase, когда есть богоугодная ScyllaDB? с коннекторами к Spark'у, с великолепной поддержкой и огромным комьюнити