VI
Не помогло
Size: a a a
2021 October 12
ИК
Поставь 300 мб!
VI
Где то читал, что если есть shuffle, то он работать не будет
VI
Без изменений
ИК
Последние варианты: таблица не в бакетах? Если бакетированная, то их всегда будет одинаковое количество при чтении с помощью .table
Можно прочитать из hdfs, table properties при этом игнорируются.
Или ещё опции чтения hive, spark.sql.hive.convertmetastoreparquet проверить.
Больше ничего предложить не могу, советую работать с тем, что есть.
Можно прочитать из hdfs, table properties при этом игнорируются.
Или ещё опции чтения hive, spark.sql.hive.convertmetastoreparquet проверить.
Больше ничего предложить не могу, советую работать с тем, что есть.
☭S
+ :)
VI
Своими словами табличка разбита на каталоги но она не партицирована. Hive не читает ее если не применить параметр рукурсивно
☭S
@zuynew хороший доклад, спасибо
DZ
Буду рад что-то обсудить. И послушать замечания
☭S
Надо сначала переварить, попробовать, потом уже, если что .... дистагу я еще в спарк не затаскивал
DZ
Ты на гите посмотри. Справедливости ради, compile time check в примере нет. Там надо через launcher
ИК
Тогда она не конвертируется при чтении в HadoopFSRelation, хайв читает по отдельным файлам. Никакие maxPartitionBytes там не проверяются и не играют роли
☭S
Да, да... обязательно... я еще только что доклад посмотрел
VI
Спасибо. 😔
2021 October 13
SI
Ребят, а не знаете, можно ли в спарке делать кастомные User Defined Table Functions? Хочется на лету в SQL функцией получать датафрейм, который как-то нетривиально строится.
SI
Хайв не вполне подходит тут
ЕГ
Я когда-то искал, не нашёл
N
А можешь пример в псевдокоде нарисовать? Может эту задачу можно по другому решить. Так-то проект опенсурсный, пиши что хочешь в рамках стандартных апи.
SI
на псевдокоде не могу, но в зависимости от параметров нужно правильно читать данные с диска, чтобы чтение было эффективным
SI
+ в зависимости от параметра аугментировать данные используя логику в скале