ЕГ
Но список папок ему в любом случае придется подгрузить весь, чудес не бывает
Size: a a a
2022 February 09
ЕГ
Рекомендую не писать типа metrics["dt"], а писать просто col("dt"), какая разница, как там переменная с датафреймом называется, а лучше их вообще не использовать
ЕГ
Одной колбасой весь запрос, как в sql
ЕГ
Так стапэ
ЕГ
Я понял вопрос и проблему
Н
а мне почему вообще не нравится
иногда понятнее если жоинишь
col))) иногда понятнее если жоинишь
ЕГ
А джойнить надо по списку колонок
ЕГ
У которых одинаковое название в обоих дф
ЕГ
И проще, и понятнее, и не надо потом селекты городить
ЕГ
Короче, твои папки неправильно названы - там нет собственно названия колонки
ЕГ
Правильная схема раскладки партиций - part_colname=part_value
Н
ну да, я понял что он не вразумеет из-за того, что не как в хайве партиции именуются
вот и думал есть option какойто, пушо я не хочу переименовывать
вот и думал есть option какойто, пушо я не хочу переименовывать
ЕГ
У тебя читается всё, потому что ты вообще лезешь непонятно как читать название, юдфкой видимо
ЕГ
Правильнее будет переименовать
k
можно wildcard-ом подать
/*-12-01
/*-12-01
k
но если контролируем запись - то лучше как г-н Е говорит - это хайвовский стандарт парттицирования. добавлю лишь, что партишн поля везде лучше ставить с типом string при create table и подобном, а не date
ЕГ
А если не контролируем - на ходу переименовать
ЕГ
ЕГ
Спарк сам восстанавливает по паркету инт, например
ЕГ
И дейт вроде тоже