PK
Сейчас норм?
Size: a a a
2017 November 16
NK
вроде работает
NK
спасибо
NC
Да, пошло
ЛР
Здесь же потом выложат презенташки?
NK
@pklemenkov а ещё хайв быстрее в большинстве случаев
ЛР
ID:1373407
@pklemenkov а ещё хайв быстрее в большинстве случаев
Вот уж не правда
ЛР
Разве что для insert-select
NC
ID:1373407
@pklemenkov а ещё хайв быстрее в большинстве случаев
Можно пруфы?
NK
Можно пруфы?
пруфов не будет , на 1.6 етл запускали тот же sql, , получалось быстрее
GP
ID:1373407
пруфов не будет , на 1.6 етл запускали тот же sql, , получалось быстрее
А что запускал?
GP
Хайв как датасорс?
NK
А что запускал?
хайв как хайв , Спарк как Спарк по орк файлам
ЛР
ID:1373407
пруфов не будет , на 1.6 етл запускали тот же sql, , получалось быстрее
Spark надо потюнить и он 100% порвёт зhive в разы
SC
А если у кого-нибудь список лайфхаков для оптимизации спарка?
GP
Надо было посмотреть юай
GP
Спарк
NK
Spark надо потюнить и он 100% порвёт зhive в разы
можно, но когда у тебя махровый etl по 300 Тб таблице , оптимизация джоинов выглядит как создание промежуточных таблиц , хайв поприятнее будет
ZM
Кривда, признайся, вы храните трекинг девайсов?