Size: a a a

ClickHouse не тормозит

2019 November 26

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
Nikolay
А по сети какой спроупут получается добиться ?
я не мерил
там других накладных расходов хватает - чтение из базы, удаление после записи
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
То есть монга у тебя для накопления данных, верно?
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
Денис Устинов
То есть монга у тебя для накопления данных, верно?
да
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Просто запись и чтение их монги мне кажется не самые быстрые
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Плюс преобразование форматов
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
Денис Устинов
Просто запись и чтение их монги мне кажется не самые быстрые
судя по всему, да
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
Денис Устинов
Плюс преобразование форматов
да
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Значит надо избавиться от самого медленного звена
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Пиши в файл например, в формате row binary
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
я рассматриваю вариант чтения из базы сразу с преобразованием
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
Денис Устинов
Пиши в файл например, в формате row binary
но тогда _id пропадает, удалять из базы будет дольше )
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
не на то цитирование сделал
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Евгений Угожаев
но тогда _id пропадает, удалять из базы будет дольше )
Погоди, из какой базы?
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
Денис Устинов
Погоди, из какой базы?
реплай не на то щелкнулся )
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Евгений Угожаев
реплай не на то щелкнулся )
Мм, ты про медленное звено ответить хотел?
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
Денис Устинов
Плюс преобразование форматов
я рассматриваю вариант чтения из базы сразу с преобразованием
но тогда _id пропадает, удалять из базы будет дольше )
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
Мне кажется, монга все равно будет узким местом
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
я тут читал, что из некоторых баз можно автоматом считывать (про кафку чуть выше писали)
а какой механизм? это только в пределах сервера работает? или как?
есть ли варианты с другими бд?
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
Денис Устинов
Мне кажется, монга все равно будет узким местом
можно другие бд использовать
будут ли все другие решения проще, чем потоков добавить?
источник

ЕУ

Евгений Угожаев... in ClickHouse не тормозит
Денис Устинов
Пиши в файл например, в формате row binary
классный способ, кстати
сразу можно файлы разбивать по любому количеству записей
но есть минус один
мне читать еще приходится в ходе наполнения буфера, чтобы не дублировать информацию
из файлов это делать можно, но неудобно
будет ли работа с файлами быстрее, чем с бд?
PS: разработка на php
источник