Size: a a a

2021 November 29

AS

Andrey Smirnov in Moscow Spark
он внутри партиции пробегает и ставит, а сама партиция получается по маске
override protected def evalInternal(input: InternalRow): Long = {
   val currentCount = count
   count += 1
   partitionMask + currentCount
 }
источник

AS

Andrey Smirnov in Moscow Spark
override protected def initializeInternal(partitionIndex: Int): Unit = {
   count = 0L
   partitionMask = partitionIndex.toLong << 33
 }
источник

ЕГ

Евгений Глотов... in Moscow Spark
Ну вот этот каунт мутный, как он работает со всей партицией
источник

AS

Andrey Smirnov in Moscow Spark
что значит мутный, начали сначала и до конца пробежались в цикле
источник

ЕГ

Евгений Глотов... in Moscow Spark
Оконка по сути то же самое)
источник

ЕГ

Евгений Глотов... in Moscow Spark
Только не интернал
источник

AS

Andrey Smirnov in Moscow Spark
только вот не будет ли группировки с exchange на этой стадии?
источник

ЕГ

Евгений Глотов... in Moscow Spark
Не будет, всё будет в тех партициях, в которых было изначально
Кстати, нсли бы была возможность сделать группировку по spark_partition_id без шафла, я бы с удовольствием пользовался, есть пара мест, где прям нужно
источник

ЕГ

Евгений Глотов... in Moscow Spark
Тупой спарк даже от инта делает хэш
источник
2021 November 30

VI

Vladimir Ilyushkin in Moscow Spark
Привет. Вы не сталкивались, что бы на стадии shuffle spark использовал из 200 ядер 13 и памяти по минимуму и висел по 4 -5 часов? Не пойму почему так происходит.
источник

t

tenKe in Moscow Spark
spark.locality.wait 0s
источник

N

Nikita Blagodarnyy in Moscow Spark
а че в статистике экзекуторов? может он там мусор собирает яростно или десериализует чего.
источник

N

Nikita Blagodarnyy in Moscow Spark
может там дикий скью и стопицот тыщ данных пытается собраться на 1 хосте
источник

VI

Vladimir Ilyushkin in Moscow Spark
А где это глянуть модно ?
источник

VI

Vladimir Ilyushkin in Moscow Spark
На ui?
источник

N

Nikita Blagodarnyy in Moscow Spark
статистику? в спарк хистори сервере
источник

VI

Vladimir Ilyushkin in Moscow Spark
Можешь написать, где именно посмотреть плизз?
источник

N

Nikita Blagodarnyy in Moscow Spark
какой ресурс менеджер у тебя? не говори только что месос.
источник

VI

Vladimir Ilyushkin in Moscow Spark
Ярн
источник

VI

Vladimir Ilyushkin in Moscow Spark
Висит на двух нодах
источник