M
Лучше скажи сколько ОЗУ))
Size: a a a
2021 September 11
В
Это уже настолько толсто, что даже крыть нечем. :)
ИК
А ведь я хотел кое-какие трансформации в итераторах InternalRow в мультитред запустить. Спасибо, буду осторожен.
GP
это точно нельзя
или новый инстанс (пер партицию - хватит) или блокировки (зато пер экзекутор)
сериалайзеры (T => InternalRow) могут быть не тредсейфны по результату еще т.е. все InternalRow в резульатате будут одинаковые и заполнены последним обращением к сериалайзеру (это конечно смешно, т.е. сериалайзер ретернит пойнтер на буфер мутабельный)
или новый инстанс (пер партицию - хватит) или блокировки (зато пер экзекутор)
сериалайзеры (T => InternalRow) могут быть не тредсейфны по результату еще т.е. все InternalRow в резульатате будут одинаковые и заполнены последним обращением к сериалайзеру (это конечно смешно, т.е. сериалайзер ретернит пойнтер на буфер мутабельный)
GP
^ ну собственно для этого есть _удобный_ метод .copy у InternalRow
ИК
Этот метод стараются выполнять как можно реже, в ShuffleExchangeExec статический метод есть, который определяет, нужно копирование или нет.
ИК
И в других местах наверняка есть такие проверки
GP
конечно костыль
ИК
Ох, да, когда вижу, что весь RDD из одинаковых записей (в тестах), значит забыл вызвать .copy, надо добавить где-то 😢
GP
хорошая альтернатива шафл екчаенж ехеку 😄
AZ
На этапе развития бизнеса «можно сделать на чем угодно» наверное можно так использовать, да
ПБ
Можно пруфы? Я в хранилищах 10 лет и ни разу такого не видел
AZ
да это такое хранилище которое просто "навалим логов, сделаем дашбордов в кибане"
AZ
не Data Warehouse
A
Я кстати не первый раз слышу про использование эластика как “dwh”, но вот не понимаю какие при этом у эластика ограничения и преимущества перед mpp dbms. Можешь кратко поделиться?
AZ
Примерно как на КХ, делаешь декомпозированные индексы (джоины он не умеет), и дальше по ним делаешь агрегации, и в кибане смотришь
N
,Уже умеет )
AZ
Такая витрина на логах, спланк но труба пониже и дым пожиже
D
вплане не умеет?
D
вы про огранпченность алгоритмов или про что?