ЕГ
Попробуй не спарком, а так чем-нибудь подключиться из драйвера, просто по jdbc
Size: a a a
2021 October 19
ЕГ
Качни путь и дальше читай спарком уже хдфс
ИК
походу, так и придётся. Хотелось, конечно, на готовеньком
ЕГ
Да это прям проблема века на самом деле
ЕГ
Что спарк только один метастор поддерживает
ЕГ
А спарком по jdbc из хайва читать - в доке так и написано - это нецелевое использование спарка, мы это не будем поддерживать, поэтому все баги остаются и оптимизации нет)
ИК
Штош, нецелевое, зато рабочее - почему бы и нет?
Спасибо!
Спасибо!
k
> спарком по jdbc из хайва читать
вроде бы, проблема в том, что это не скейлится
> несколько metastores
можно создать session с одним metastore, загрузить датафоейм. потом создать session с другим metastore, загрузить второй датафрейм, и потом поджойнить их
> несколько
вроде, начиная с 3 версии, есть поддержка нескольких namespaces, я думал, работает как в престо / трино
вроде бы, проблема в том, что это не скейлится
> несколько metastores
можно создать session с одним metastore, загрузить датафоейм. потом создать session с другим metastore, загрузить второй датафрейм, и потом поджойнить их
> несколько
вроде, начиная с 3 версии, есть поддержка нескольких namespaces, я думал, работает как в престо / трино
Д
Да есть multi catalog с 3 спарка - но я не нашёл чтобы кто то это использовал😒
https://jaceklaskowski.github.io/mastering-spark-sql-book/new-and-noteworthy/catalog-plugin-api-and-multi-catalog-support
https://stackoverflow.com/questions/68066224/spark-multiple-catalog-support
https://jaceklaskowski.github.io/mastering-spark-sql-book/new-and-noteworthy/catalog-plugin-api-and-multi-catalog-support
https://stackoverflow.com/questions/68066224/spark-multiple-catalog-support
ИК
До третьего спарк ещё надо дорасти(
ИК
Пока что заэкспоузил протектед хайв метод и создаю отдельного клиента. Но между хайвами не всё работает (( кринж какой-то (
ИК
Разные версии хайвов имею в виду
ММ
Спарковский dataframe живет только пока жива сессия
k
нет. пока живет контекст. часть обьектов сессии пересоздается при getOrCreate. часть - остается
k
вот сджоинить датафреймы из Aws Glue metastore и датафрейм созданный с помощью Hive metastore - нельзя из-за того, что класс клиента метастора остается прежний при вызове getOrCreate
k
2021 October 20
AS
Салют! А есть ли решение такой проблемы: спарк джоба генерит много (ну вот 3TB+) shuffle write и хочется чуть не достигая таких значений её нужно убить с вопросом "дорогой разработчик, а ты хорошо подумал?".
Проблема скорее не в самом шафле, а в том что на нодах место для кэшей этого шафла быстро заканчивается и всем становится грустно, но в контексте задачи метрика шафла кажется что единственно значимая. Есть решение следить за такими вещами внешней задачей мониторя метрики спарка, но может есть решение лучше и правильнее?
Шедулер yarn - его настройки кэшей примерно никак не помогли что было ожидаемо.
Проблема скорее не в самом шафле, а в том что на нодах место для кэшей этого шафла быстро заканчивается и всем становится грустно, но в контексте задачи метрика шафла кажется что единственно значимая. Есть решение следить за такими вещами внешней задачей мониторя метрики спарка, но может есть решение лучше и правильнее?
Шедулер yarn - его настройки кэшей примерно никак не помогли что было ожидаемо.
ЕГ
Лучше особо ничего нет, если получится замониторить метрики - уже неплохо
ЕГ
А хадуп настолько мал, что 3тб это проблема?
ЕГ
Или у вас параллельно тыща таких джобов по 3тб, и всё сжирается?