Size: a a a

2017 November 16

ZM

ZLoyer Matveev in Moscow Spark
только тех кто подключался или всех подряд?
источник

ZM

ZLoyer Matveev in Moscow Spark
похоже ушел nda читать)
источник

NC

Nick Chervov in Moscow Spark
@pklemenkov , презентации будут выложены? Сюда: https://www.slideshare.net/RamblerML ?
источник

ЛР

Лев Рагулин... in Moscow Spark
@pklemenkov ждём человека со скидкой
источник

t

tenKe in Moscow Spark
Sergey Cheparukhin
А если у кого-нибудь список лайфхаков для оптимизации спарка?
погугли spark long running 24/7
источник

AY

Anton Yarmolyuk in Moscow Spark
источник

AY

Anton Yarmolyuk in Moscow Spark
Тут есть слайд с примером где spark не очень хорошо оптимизирует запрос. В отличии от hive on tez
источник

AY

Anton Yarmolyuk in Moscow Spark
Правда версия спарка неизвестна
источник
2017 November 17

GP

Grigory Pomadchin in Moscow Spark
Anton Yarmolyuk
Тут есть слайд с примером где spark не очень хорошо оптимизирует запрос. В отличии от hive on tez
не ясно из слайдов что есть оптимизация, я так понял они хвалятся что шафл меньше на хайве; но я не понял картинок(
источник

GP

Grigory Pomadchin in Moscow Spark
источник

ЕС

Евгений Санников... in Moscow Spark
Grigory Pomadchin
не ясно из слайдов что есть оптимизация, я так понял они хвалятся что шафл меньше на хайве; но я не понял картинок(
Не, ну если ты сразу стратегию партицирования поберешь под запрос, то конечно, задержка будет только на передачу данных на ноду 👌
источник

GP

Grigory Pomadchin in Moscow Spark
источник

GP

Grigory Pomadchin in Moscow Spark
источник

ЕС

Евгений Санников... in Moscow Spark
А ч б и нет? Операций ж мало (не 200 даже)
источник

ЕС

Евгений Санников... in Moscow Spark
Упрт смайл
источник

ЕС

Евгений Санников... in Moscow Spark
А собсно почему нет? По сути соберешь свой индекс для определенного класса операций приложения. Ни кто же не говорит о том чтобы создать свой фреймворк который победит hive
источник

YK

Yury Kitov in Moscow Spark
типа написать свой оптимизатор стратегий партишенинга
источник

ЕС

Евгений Санников... in Moscow Spark
А модно ещё писать оптимизатор партицирования под конкретную задачу. Так, вроде, хипстеры делают, но это не точно
источник

GP

Grigory Pomadchin in Moscow Spark
источник

ЕС

Евгений Санников... in Moscow Spark
Кстати, вопрос хотел задать, кто-то делал решения с вечно живущей rdd ?
источник