Size: a a a

2021 August 08

ПФ

Паша Финкельштейн... in Moscow Spark
А там раундробин
источник

SI

Sergey Ivanychev in Moscow Spark
Клёво, я сам это код не нашёл руками. Если в двух словах, то по каким символам ты смог найти его?
источник

SI

Sergey Ivanychev in Moscow Spark
В коде логического плана я такого не видел
источник

SI

Sergey Ivanychev in Moscow Spark
Спасибо!
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Пошёл в Dataset, дальше в код repartition, дальше стал искать где он использузется
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Find Usages который
источник

SI

Sergey Ivanychev in Moscow Spark
По объекту Repartition, который наследник LogicalPlan?
источник

ПФ

Паша Финкельштейн... in Moscow Spark
скорее по методу, но точный полёт я уже не найду — идею закрыл )
источник

SI

Sergey Ivanychev in Moscow Spark
Всего равно спасибо большое)
источник

SI

Sergey Ivanychev in Moscow Spark
Странно что про это толком нигде не пишут
источник

SI

Sergey Ivanychev in Moscow Spark
Ни в книгах, ни в документации
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Детали реализации — никто не хочет это специфицировать
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Потому что завтра может захотеться реализацию поменять
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ща я тебе скринкаст запишу на коленке )
источник

SI

Sergey Ivanychev in Moscow Spark
Не ясно здесь мне на 100% именно ожидаемое поведение .repartition с числом без колонок
источник

SI

Sergey Ivanychev in Moscow Spark
С колонками сразу все становится ясно, они используются для шаффла
источник

ПФ

Паша Финкельштейн... in Moscow Spark
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Там внизу подсказки о том, акие я хоткеи жму
источник

ПФ

Паша Финкельштейн... in Moscow Spark
А что непонятно? Там создаётся рэндом, сидируемый айдишником партиции
источник

SI

Sergey Ivanychev in Moscow Spark
Я конкретно про то, что из доки не понятно что делает repartition без колонок
источник