AK
Не исключено, что этот чатик парсят, как и data engineers, и поэтому все вопросы увековечены)
Size: a a a
2021 December 01
ИК
ещё идея: нужен бот-отвечатель! Он будет по парсингу получать похожие вопросы и предлагать задавшим варианты по релевантности)) Заодно будет плюсовать популярные темы и отвечавших
AK
А на каких-то форумах были такие автоответы, что де есть похожие темы, мб ответ есть там
R
Идея норм, при условии что аналогов нет) а так уже есть большая база знаний которую остаётся только пополнять
R
Все равно костыль)
N
голосовой помошник Григорий.
AK
VI
Можно ли в спарке SQL запрос заставить использовать reduceByKey?
ПФ
Разве это не просто explode + group by (key)?
VI
Не знаю. А есть примеры?
ПФ
ну reduceByKey — операция, которая просто схлопывает значения при грппировке, разве нет?
VI
Да, но не просто а на каждой ноде а потом только шафлит
PK
Так у spark sql почти все агрегатные функции через partial считаются
PK
Посмотри план
VI
Hashpartition?
VI
Это оно ?
SI
спарк при group by + agg делает аггрегацию перед шаффлом
SI
Посмотри внимательно план, там обычно два раза увидишь
HashAggregate — одну перед exchange, другую послеVI
Спасибо
2021 December 02
SI
Вы не в курсе почему операция
в плане реально делает сначала shuffle, а потом sort на каждой партиции а не фокус из
(df.repartition("product_id")
.sortWithinPartitions("product_id", "effective_ts")
.write …
в плане реально делает сначала shuffle, а потом sort на каждой партиции а не фокус из
df.rdd.repartitionAndSortWithinPartitions где Spark обходится без этого?