ИК
не запутывай людей, я этот алгоритм переписывал. Сортировка от крупных к мелким))
Size: a a a
2022 January 28
ЕГ
Спарк начинает с более лёгких тасок
ЕГ
Я наблюдал обратную картину не один раз
ИК
не согласный я)
ЕГ
Не только на чтение
ЕГ
Особенно хорошо это на пустых партициях видно, он их пролетает за 0 сек, а потом висит на оставшемся 1%
ЕГ
Пытался как-то размешать - не вышло
ИК
спарк начинает, с чего получилось. А получается вот что:
val splitFiles = selectedPartitions.flatMap { partition =>
…
}.sortBy(_.length)(implicitly[Ordering[Long]].reverse)
val splitFiles = selectedPartitions.flatMap { partition =>
…
}.sortBy(_.length)(implicitly[Ordering[Long]].reverse)
ИК
вот ревёрс там последнее слово ^^^^^
ИК
проверял на 500k партиций, пустые скипаются за 0,1-2 секунды каждая, оставшиеся работают 2-5 минут каждая. Конечно, выглядит, как будто пустые вначале выполнены, а объёмные в конце))
ЕГ
Ну не, пока до них экзекутор не дойдет, они не начнут выполняться
ИК
согласен, поэтому чем меньше пустых партиций, тем лучше
ЕГ
Хоть им и 0.0001сек на исполнение
ЕГ
Но у меня исполняются вперёд пустые
ИК
не совпадает с моим опытом(
ЕГ
А версия какая?
ИК
2.4.0, 2.4.5
ЕГ
Тоже 2.4.5, и на 2.3 то же самое замечал🤔
Копну поглубже, надо разобраться😐
Копну поглубже, надо разобраться😐
ЕГ
ИК
org.apache.spark.sql.execution.DataSourceScanExec
я вот по этому смотрю. Предпочитаю этот класс переписывать под свои источники данных
я вот по этому смотрю. Предпочитаю этот класс переписывать под свои источники данных