Size: a a a

2021 November 30

T

T in Moscow Spark
Ухх
источник

ЕГ

Евгений Глотов... in Moscow Spark
Наоборот похоже батчёвый
источник

T

T in Moscow Spark
Я хочу подновить начальный датасет который потом буду апдеить, и хочу заюзать bulk_insert
источник

GP

Grigory Pomadchin in Moscow Spark
ой да
источник

ЕГ

Евгений Глотов... in Moscow Spark
У худи вот этот метод почему-то фолс возвращает
источник

T

T in Moscow Spark
Причем на 2.4 он работает
источник

GP

Grigory Pomadchin in Moscow Spark
ого новая аватарка хорошая
источник

T

T in Moscow Spark
А вот на 3.0 нет
источник

GP

Grigory Pomadchin in Moscow Spark
посмотри в сорцах почему он теперь фолс
источник

ЕГ

Евгений Глотов... in Moscow Spark
Шафл сервис в 2.4 тоже работает😆
источник

ЕГ

Евгений Глотов... in Moscow Spark
А в 3 нет
источник

ЕГ

Евгений Глотов... in Moscow Spark
источник

T

T in Moscow Spark
Эх, так хорошо было на письмах программировать
источник

ЕГ

Евгений Глотов... in Moscow Spark
Отказоустойчивость так себе, в коде экзекуторов баги...
источник

ЕГ

Евгений Глотов... in Moscow Spark
источник

VI

Vladimir Ilyushkin in Moscow Spark
Да, туда заходил. Из 1000 тасков две висели на двух нодах 500 Гб и 1 Тб
источник

ЕГ

Евгений Глотов... in Moscow Spark
Если 2 таски из 1000 висят - это дисбаланс ключей
источник

ЕГ

Евгений Глотов... in Moscow Spark
Джойн/групбай
источник

N

Nikita Blagodarnyy in Moscow Spark
ищи в данных перекошенный датасет, операция над которым может вызывать шафл.
источник

VI

Vladimir Ilyushkin in Moscow Spark
Там нет группировки просто джоин
источник