ZM
только тех кто подключался или всех подряд?
Size: a a a
2017 November 16
ZM
похоже ушел nda читать)
NC
@pklemenkov , презентации будут выложены? Сюда: https://www.slideshare.net/RamblerML ?
ЛР
@pklemenkov ждём человека со скидкой
t
А если у кого-нибудь список лайфхаков для оптимизации спарка?
погугли spark long running 24/7
AY
Тут есть слайд с примером где spark не очень хорошо оптимизирует запрос. В отличии от hive on tez
AY
Правда версия спарка неизвестна
2017 November 17
GP
Anton Yarmolyuk
Тут есть слайд с примером где spark не очень хорошо оптимизирует запрос. В отличии от hive on tez
не ясно из слайдов что есть оптимизация, я так понял они хвалятся что шафл меньше на хайве; но я не понял картинок(
ЕС
не ясно из слайдов что есть оптимизация, я так понял они хвалятся что шафл меньше на хайве; но я не понял картинок(
Не, ну если ты сразу стратегию партицирования поберешь под запрос, то конечно, задержка будет только на передачу данных на ноду 👌
ЕС
А ч б и нет? Операций ж мало (не 200 даже)
ЕС
Упрт смайл
ЕС
А собсно почему нет? По сути соберешь свой индекс для определенного класса операций приложения. Ни кто же не говорит о том чтобы создать свой фреймворк который победит hive
YK
типа написать свой оптимизатор стратегий партишенинга
ЕС
А модно ещё писать оптимизатор партицирования под конкретную задачу. Так, вроде, хипстеры делают, но это не точно
ЕС
Кстати, вопрос хотел задать, кто-то делал решения с вечно живущей rdd ?