ЕГ
А на запись какие наблюдения?
да такие же, AQE ещё не завезли, как прочитали, так и пишем)
Это если без шафла, конечно, как только шафл есть, так всякая определённость пропадает
Size: a a a
2022 January 28
ЕГ
Наверно я тупанул, и там при чтении одно, а при записи наоборот
ЕГ
Не, с шафлом
ИК
с шафлом ничего не скажу, наверное, там всяко может получаться. Но я точно знаю, что спарк нечасто меняет свои планы хД
ЕГ
Дебильность в том, что не получается раскидать репартишеном так, чтоб не попадало несколько ключей в одну партицию, потому что какой у них хэш по модулю будет - не угадаешь
PL
вовово
ИК
вот, поэтому приходится интимно взаимодействовать с кастомными партишенерами)
PL
может быть там оконная функция? если правильно понимаю, repartition не хочет раскидывать равномерно?
ЕГ
ИК
вообще, в этом как раз его задача - равномерно раскидать
ЕГ
Ну сделали бы от инта хэш инт)
ЕГ
Сам по себе)
ЕГ
Или хотя бы IntBleatPartitioner)
ИК
было б неплохо
ИК
он есть, ща
ЕГ
Давай в опенсорс)
PL
план в студию))
ЕГ
ИК
/**
* A dummy partitioner for use with records whose partition ids have been pre-computed (i.e. for
* use on RDDs of (Int, Row) pairs where the Int is a partition id in the expected range).
*/
private class PartitionIdPassthrough(override val numPartitions: Int) extends Partitioner {
override def getPartition(key: Any): Int = key.asInstanceOf[Int]
}
* A dummy partitioner for use with records whose partition ids have been pre-computed (i.e. for
* use on RDDs of (Int, Row) pairs where the Int is a partition id in the expected range).
*/
private class PartitionIdPassthrough(override val numPartitions: Int) extends Partitioner {
override def getPartition(key: Any): Int = key.asInstanceOf[Int]
}