ЕГ
Max(date) - в отдельный подзапрос, иначе никак
Size: a a a
2021 August 31
KR
А как мне это сделать, если для каждой после надо считать исходя из фильтров, которые берутся из двух разных таблиц
ЕГ
Отдельно поджойнить, получить максимум одним числом, это число подставить в запрос с таким же джойном
Н
Никто не встречался с такой проблемой
df.write.saveAsTable(table, mode="overwrite", partitionBy=field) работает 5 минут допустимdf.write.insertInto(table, overwrite=True) работает бесконечно ни разу не дождался и таски бесконечно выполняютсяЕГ
А partitionOverwriteMode=dynamic?
Н
да
ЕГ
А в логах что-нибудь есть?
Н
в логах как-будто крутится, как обычно, паркеты пишутся, схемы
ЕГ
А ui таски бегают?
ЕГ
Или все отбежали и ничё не происходит?
Н
не, просто запущены и крутятся
Н
вот saveAsTable(mode="append") работает тоже 5 минут
ЕГ
Просто динамик оверврайт достаточно хитро работает
ЕГ
А партиций много?
Н
две) да и при одной тоже
Н
я сделал так что у меня cdc история где каждое поле это партиция, а потом из cdc в scd type 2 делаю
ЕГ
Что значит каждое поле это партиция?
Н
У меня такие поля history (id field value ts)
2021 September 01
LT
Товарищи, привет! А нет ли здесь умельца, который использовал Spark и ML Flow?
PK
Я пробовал. В чем вопрос?