ЕГ
не понял, а чем int от инт отличается?)
Size: a a a
2021 August 20
ЕГ
конечно он читает это как инт, а как что ещё?
ЕГ
Как стринг?
ЕГ
А, соседний тред прочитал, понял)
K
простите) ночные баги радуют
K
до опредленного момента, схема инференс выводил стринг, потом начало выводить как инт
K
я планирую проверить гипотезу одну , и расскажу о ней позже)
ЕГ
Вжух - и таск упал)
ИК
Зачем делать такие партиции? Дата должна быть с разделителями "-", иначе пользователи будут недовольны. Ну или я буду недоволен, когда увижу такое ещё раз. Да, уже видел и с этим пришлось работать((
ПФ
Вангую что там появилась почему-то неправильно именованная директория и инференс это увидел
А
в сап системах дата хранится как строка в формате yyyymmdd, оно потом расползается везде
ИК
Спасибо, теперь ясно, кто так проектирует
ИК
так было бы, если бы всегда был Int, а потом стал String. Скорее неправильная партиция пропала. Но мы многое не знаем, может там каскад трансформаций?
ИК
Просто получается, что это не дата, с которой можно сразу работать, не строка, которую можно автоматически привести к дате, не число, имеющее смысл. Только отсортировать и можно, остальное везде неудобно
ПФ
А, блин, сначала был стринг... Но да, тогда сложнее диагностировать, вероятно пропала неправильная патриция, да
А
чем лучше строка в yyyy-mm-dd? Только тем, что ее проще читать?
ИК
spark ее инферит автоматически, можно работать как с датой)
N
помнится раньше вроде Hive не умел то ли в арифметику дат над партициями то ли партции по дате и приходилось делать их интом, чтобы накладывать part_field > 20200101 and part_field < 20200103
N
чтобы прунинг работал
ИК
возможно, но хайв у нас сейчас во-первых не основной, во-вторых именно такой формат требуется в нашем проекте