DT
Просто хочется понять, бывает ли такое, и если бывает, то какой код при этом возвращается, 200 или какой-то другой
Емнип, в таком случае вставка сразу обрабатывается и если пришло, 200 ok, то данные вставлены
Size: a a a
2019 December 04
ZL
Емнип, в таком случае вставка сразу обрабатывается и если пришло, 200 ok, то данные вставлены
А где-то можно уточнить это поведение, чтобы быть на 100% уверенным?
DT
Добрый день. Я вставляю данные по 100 000 строк. Как вставить только уникальные по паре полей? Чтобы не заморачиваться предварительной вычиткой и отбором.
Гарантированного варианта, вставить только уникальные записи в clickhouse, что бы не было некого промежутка времени между вставкой и чисткой дубликатов нет, ну окромя select final и group by
ЕУ
Гарантированного варианта, вставить только уникальные записи в clickhouse, что бы не было некого промежутка времени между вставкой и чисткой дубликатов нет, ну окромя select final и group by
Т.е., предварительная очистка. Это эффективнее, чем селекты тормозить.
ЕУ
Гарантированного варианта, вставить только уникальные записи в clickhouse, что бы не было некого промежутка времени между вставкой и чисткой дубликатов нет, ну окромя select final и group by
Есть же несколько сценариев использования CH
Один из них акцентирован на максимально быстрой записи большого объема информации. Так получается сейчас. Грубо говоря, сидит разработчик и анализирует тонны логов. Логи постоянно и помногу пишутся, а разработчик один. Тогда за скорость выборки можно не так волноваться.
А другой - на максимально компактном хранении и быстром чтении для использования. Пользователей и информации много, а новая информация записывается, но не так чтобы уж очень много. Тогда надо не так критична скорость записи.
Не планируются варианты движков с такими оптимизациями?
Один из них акцентирован на максимально быстрой записи большого объема информации. Так получается сейчас. Грубо говоря, сидит разработчик и анализирует тонны логов. Логи постоянно и помногу пишутся, а разработчик один. Тогда за скорость выборки можно не так волноваться.
А другой - на максимально компактном хранении и быстром чтении для использования. Пользователей и информации много, а новая информация записывается, но не так чтобы уж очень много. Тогда надо не так критична скорость записи.
Не планируются варианты движков с такими оптимизациями?
S
Есть же несколько сценариев использования CH
Один из них акцентирован на максимально быстрой записи большого объема информации. Так получается сейчас. Грубо говоря, сидит разработчик и анализирует тонны логов. Логи постоянно и помногу пишутся, а разработчик один. Тогда за скорость выборки можно не так волноваться.
А другой - на максимально компактном хранении и быстром чтении для использования. Пользователей и информации много, а новая информация записывается, но не так чтобы уж очень много. Тогда надо не так критична скорость записи.
Не планируются варианты движков с такими оптимизациями?
Один из них акцентирован на максимально быстрой записи большого объема информации. Так получается сейчас. Грубо говоря, сидит разработчик и анализирует тонны логов. Логи постоянно и помногу пишутся, а разработчик один. Тогда за скорость выборки можно не так волноваться.
А другой - на максимально компактном хранении и быстром чтении для использования. Пользователей и информации много, а новая информация записывается, но не так чтобы уж очень много. Тогда надо не так критична скорость записи.
Не планируются варианты движков с такими оптимизациями?
зачем быстро писать, если не критична скорость выборки? Можно не быстро писать)
ЕУ
зачем быстро писать, если не критична скорость выборки? Можно не быстро писать)
данных много на входе?
S
Их можно оптимально приготовить - объединить в батчи, выбрать уникальные или только нужные же. Тут вопрос скорее где у вас больше ресурсов и что важнее.
ЕУ
Их можно оптимально приготовить - объединить в батчи, выбрать уникальные или только нужные же. Тут вопрос скорее где у вас больше ресурсов и что важнее.
так я и делаю
хотел узнать, можно ли это переложить на саму бд
хотел узнать, можно ли это переложить на саму бд
JS
Есть же несколько сценариев использования CH
Один из них акцентирован на максимально быстрой записи большого объема информации. Так получается сейчас. Грубо говоря, сидит разработчик и анализирует тонны логов. Логи постоянно и помногу пишутся, а разработчик один. Тогда за скорость выборки можно не так волноваться.
А другой - на максимально компактном хранении и быстром чтении для использования. Пользователей и информации много, а новая информация записывается, но не так чтобы уж очень много. Тогда надо не так критична скорость записи.
Не планируются варианты движков с такими оптимизациями?
Один из них акцентирован на максимально быстрой записи большого объема информации. Так получается сейчас. Грубо говоря, сидит разработчик и анализирует тонны логов. Логи постоянно и помногу пишутся, а разработчик один. Тогда за скорость выборки можно не так волноваться.
А другой - на максимально компактном хранении и быстром чтении для использования. Пользователей и информации много, а новая информация записывается, но не так чтобы уж очень много. Тогда надо не так критична скорость записи.
Не планируются варианты движков с такими оптимизациями?
если я правильно понял, то должно быть как раз наоборот.
если читается редко то и записывать можно не сильно часто батчами
если читается часто и нужна актуальность, то пишется мелкими батчами но часто.
если читается редко то и записывать можно не сильно часто батчами
если читается часто и нужна актуальность, то пишется мелкими батчами но часто.
MK
Привет. А я не понял, это прямо для всех поддержка или для кого надо поддержка?
https://clickhouse.yandex/docs/ru/introduction/info/
https://clickhouse.yandex/docs/ru/introduction/info/
MK
Ну просто как-то очень уж фантастически звучит, что в три часа ночи по бесплатному телефону со мной кто-то поговорит про ClickHouse.
ЕУ
Ну просто как-то очень уж фантастически звучит, что в три часа ночи по бесплатному телефону со мной кто-то поговорит про ClickHouse.
телефон доверия КХ
вы хотите поговорить об этом? )
вы хотите поговорить об этом? )
MK
телефон доверия КХ
вы хотите поговорить об этом? )
вы хотите поговорить об этом? )
Да да, примерно
AZ
Ну просто как-то очень уж фантастически звучит, что в три часа ночи по бесплатному телефону со мной кто-то поговорит про ClickHouse.
Алиса
ЕУ
Да да, примерно
это чтобы вы не повесились )
JS
Да да, примерно
тут скорее отзывы и предложения, не более, вряд ли вам помогут с запросами по телефону)
MK
Да я просто узнать, не очень люблю вообще формат общения голосом по телефону 😊
AN
всем привет.
я использую графану, чтобы рисовать графики по данным из таблицы MATERIALIZED VIEW ENGINE = AggregatingMergeTree()
В столбце даты и времени в этой таблице могут быть пропуски.
соответсвенно, пропуски хотелось бы заполнять нулевыми значеними, чтобы отрисовывать графики корректно.
подскажите, как это можно сделать?
я использую графану, чтобы рисовать графики по данным из таблицы MATERIALIZED VIEW ENGINE = AggregatingMergeTree()
В столбце даты и времени в этой таблице могут быть пропуски.
соответсвенно, пропуски хотелось бы заполнять нулевыми значеними, чтобы отрисовывать графики корректно.
подскажите, как это можно сделать?
ST
всем привет.
я использую графану, чтобы рисовать графики по данным из таблицы MATERIALIZED VIEW ENGINE = AggregatingMergeTree()
В столбце даты и времени в этой таблице могут быть пропуски.
соответсвенно, пропуски хотелось бы заполнять нулевыми значеними, чтобы отрисовывать графики корректно.
подскажите, как это можно сделать?
я использую графану, чтобы рисовать графики по данным из таблицы MATERIALIZED VIEW ENGINE = AggregatingMergeTree()
В столбце даты и времени в этой таблице могут быть пропуски.
соответсвенно, пропуски хотелось бы заполнять нулевыми значеними, чтобы отрисовывать графики корректно.
подскажите, как это можно сделать?
