RB
посмотри в сторону Cassandra или ClickHouse
Пока думаю про ClickHouse, он справляется с усиленной загрузкой данных в себя, не в курсе?
Size: a a a
2019 July 11
GP
druid есть еще но по перформансу я не скажу
MB
посмотри в сторону Cassandra или ClickHouse
JSON хранить в ClickHouse ? чётасомневаюсь...
RB
JSON хранить в ClickHouse ? чётасомневаюсь...
Ну, можем постараться и схему зафиксировать
MB
тут еще не обозначили размер этого JSON
RB
тут еще не обозначили размер этого JSON
5-20 численных значений в одном джсоне
GP
5-20 численных значений в одном джсоне
по юз кейсу прям друид что тебе нужно
таймсерис квери хайперформансные
попробуй; если не пробовал - ничего не теряешь
таймсерис квери хайперформансные
попробуй; если не пробовал - ничего не теряешь
MB
ябы его в колонки распарсил, тогда да должно норм зайти
MB
А по скорости заливки, ярд для клика норм должен зайти
RB
по юз кейсу прям друид что тебе нужно
таймсерис квери хайперформансные
попробуй; если не пробовал - ничего не теряешь
таймсерис квери хайперформансные
попробуй; если не пробовал - ничего не теряешь
Гуглю :)
RB
А по скорости заливки, ярд для клика норм должен зайти
а про Vertica что-то подскажете?
RB
хотя, он платный
S
по юз кейсу прям друид что тебе нужно
таймсерис квери хайперформансные
попробуй; если не пробовал - ничего не теряешь
таймсерис квери хайперформансные
попробуй; если не пробовал - ничего не теряешь
судя по кейсу нагрузка -30 вставок в секунду
S
какой там хайперформанс
MB
а про Vertica что-то подскажете?
сорян, нет
AE
никто часом не знает, что надо сказать javassist'у, чтобы спарк не падал на десериализации лямбды, которая капчурится из класса, в котором надо подправить пару констант в рантайме?
AE
сам спарк добавляет этим же самым жабассистом метод .$deserializeLambda$ в класс, а потом его зверски дёргает через рефлексию.
но что там в этом методе происходит, я чё-то не раскурил. и где его искать, или хотя бы узнать как он генерится...
но что там в этом методе происходит, я чё-то не раскурил. и где его искать, или хотя бы узнать как он генерится...
AE
ладно, если так нельзя, то подменим константы в классе, из которого они наследуются.
блин. копаться в байткоде такое себе занятие :/
блин. копаться в байткоде такое себе занятие :/
GP
Спасибо) Настроим бота попозже времени сейчас нет особо)