ПФ
Тут другая ситуация: оно оптимизировано для бенчмарков )))
Size: a a a
2021 September 07
AZ
эт пожалуйста, я имею в виду что никто не оптимизирует умолчания под супер-занятой кластер
M
Для этого надо занести денежку, логично же
AZ
Почему? Вы сами можете покрутить эти ручки, абсолютно бесплатно
M
Все верно, никто не обещал млментального решения всех проблем тем более бесплатно
ПФ
Не, никто ничего не прячет же, вот прямо есть конкретный файл куда смотреть
ПФ
Хотя, конечно, интересно, сколько людей туда смотрит
AZ
Да, я поэтому не понял ваш комментарий про занести денежки
ПФ
Видимо намёк на то, что бриксы у себя в кластере всё уже настроили. Но я в этом не уверен на самом деле
AZ
не только бриксы, все кто пользуется спарком на большом масштабе знают и постоянно крутят эти ручки
AZ
мб был намек на то что если не платите бриксам - больше платите своим нормальным инженерам
R
Ещё есть datamechanics.
Вот я даже думал попробовать их. КТо - то с ними работал? Есть живые отзывы?
Вот я даже думал попробовать их. КТо - то с ними работал? Есть живые отзывы?
AZ
их NetApp купил недавно
ПФ
Ну да, тоже хороший аргумент
R
Не понимаю хорошо это или нет)
AZ
я бы сказал это может быть охлаждающим фактором в решении строить на них решение, пока там все не устаканится и они не определятся с развитием
R
Понял, спасибо)
ПФ
Вон чего в третьей версии появилось
Интересная ручка
val IN_MEMORY_TABLE_SCAN_STATISTICS_ENABLED =
buildConf("spark.sql.inMemoryTableScanStatistics.enable")
.internal()
.doc("When true, enable in-memory table scan accumulators.")
.version("3.0.0")
.booleanConf
.createWithDefault(false)
Интересная ручка
AZ
я знаю эту компанию и нескольких людей, это очень солидная инженерная команда (у французов инжиниринг всегда впереди маркетинга бежит), но вот их купили, не знаю что там будет дальше
R
Товарищ Джешек предполагает, что это для тестов