Size: a a a

2019 October 16

M

Mikhail in Moscow Spark
Renarde
Скучно и обычненько. Опять же - для тех, кто не знает как работают паркетные файлы с темп директориями - не надо, остальное - в образовательных целях разве что.
Китаец был вообще мертвый. Тухлый доклад. Но угарно было, когда индус ему вопросы задавал и они друг друга не понимали)
источник

M

Mikhail in Moscow Spark
Pavel Klemenkov
Dynamic partition pruning, кажется, будет клёвой фичей
Я так понял, чтобы оно работало нужно постоянно статистику пересобирать.
источник

PK

Pavel Klemenkov in Moscow Spark
Mikhail
Я так понял, чтобы оно работало нужно постоянно статистику пересобирать.
Вроде нет
источник

PK

Pavel Klemenkov in Moscow Spark
Те, cbo тут вообще никак не участвует
источник

PK

Pavel Klemenkov in Moscow Spark
Да и работает это только для equijoin
источник

☭S

☭ ⤳ λ Shinkevich... in Moscow Spark
tenKe
айфон хуево фоткает, но в целом можно много полезного для себя найти
Что там за package? Может есть на github?
источник

☭S

☭ ⤳ λ Shinkevich... in Moscow Spark
похоже на этого чувака https://github.com/shbm1505/Recommendation_engine
источник

t

tenKe in Moscow Spark
☭ ⤳ λ Shinkevich
Что там за package? Может есть на github?
ты про что?
источник

☭S

☭ ⤳ λ Shinkevich... in Moscow Spark
tenKe
ты про что?
про скреенфоты твои
источник

t

tenKe in Moscow Spark
а, не обращай внимания на пекедж
источник

t

tenKe in Moscow Spark
он его во время сессии сделал
источник

АЖ

Андрей Жуков... in Moscow Spark
Инжой,  блэт!
источник

M

Mikhail in Moscow Spark
Pavel Klemenkov
Вроде нет
Я спросил у авторов поляков. Короткий ответ: "статистика не необходима, но если она есть, то сильно поможет". Они используют какие-то эвристики для определения селективности столбца фильтрации. Для очень маленьких таблиц измерений им по фиг на статистику, но если таблица больше нескольких десятков МБ и вы подтюнили настройку для бродкаста, то column level статистика сильно поможет.
источник

PB

Pavel Bezglasnyi in Moscow Spark
на ютюб канале датабрикса начали выкладывать видео с саммита, но пока мало интересного https://www.youtube.com/channel/UC3q8O3Bh2Le8Rj1-Q-_UUbA/videos
источник

АЖ

Андрей Жуков... in Moscow Spark
Там кинотес жи
источник

PK

Pavel Klemenkov in Moscow Spark
Да, сначала выкладывают keynotes для затравки. Основной стафф через пару месяцев
источник

АЖ

Андрей Жуков... in Moscow Spark
(поэтому на кинотес можно смело забивать)
источник
2019 October 17

АЖ

Андрей Жуков... in Moscow Spark
А как думаете, как скоро MS купит Databricks?
источник

t

tenKe in Moscow Spark
источник

t

tenKe in Moscow Spark
источник