GP
^ потому что он (петон) стартует жвм на создании сессии
Size: a a a
2022 January 16
GP
жадно причём
v
А, значит норм, спасибо. Щас тогда попробую с конфигом выше запустить и глянуть, вывалится ли что-то через полтора часа.
Про то что "нельзя в программе" это видимо как раз про скалу писали.
Про то что "нельзя в программе" это видимо как раз про скалу писали.
v
Тут вопрос в том, что делать если одна из групп будет большая?
ЕГ
Бить
ЕГ
ЕГ
Смотря насколько большая
ЕГ
Если меньше 10млн, то стандартные кластеры схавают в принципе
GP
10 млн чего?
GP
строк по 20 гигов каждая?
ЕГ
Долларов конеш
ЕГ
GP
хорошо
ЕГ
v
А такой еще вопрос - мне нужен самый лучший по ряду критериев.
Тут он получается явно сортирует все и берет первый.
Условно говоря, list(sorted(data))[1]
А есть .first? В доках что-то не нашел. ЧТобы был max(data).
window = Window.partitionBy([col(MEETING_SUBJECT), col(START_DATE)]) \
.orderBy(
col(COMPANY_SUBJECT_COMMON).desc(),
col(PARTICIPANTS_AND_EMPLOYEES_IN_SUBJ).desc(),
col(PARTICIPANTS_IN_EMPLOYEES).desc(),
col(BOOKING_DATE),
)
# Takes only the best match
df = df.withColumn('rank', row_number().over(window)).filter(col('rank') == 1).drop('rank')
Тут он получается явно сортирует все и берет первый.
Условно говоря, list(sorted(data))[1]
А есть .first? В доках что-то не нашел. ЧТобы был max(data).
ЕГ
Я пока максимум видел 40 мегов строку)
ЕГ
Есть first(column).over(window)
ЕГ
И ещё можно подушнить чутка? Псевдо-скл-код, разбитый на функции по одной строчке, прям супер неудобно читать
ЕГ
Лучше всё одной простынёй, каждый оператор с новой строки