В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Боль Тимлида

5057 membersпожаловаться на группу
2021 August 18

PD

Phil Delgyado in Боль Тимлида
Ну, смотря какой рост планируется и насколько сильно при этом железо нужно и какие пределы.
Ну и тоже тут сильно зависит от планов, делать vendor lock или использовать облако только как набор виртуалок и СХД.
При этом выбор того же Redshift у вас не выглядит реально безальтернативным.
источник
02:50пожаловаться#1

PD

Phil Delgyado in Боль Тимлида
Кстати, а как вы с дубликатами боретесь на CH?
источник
02:53пожаловаться#2

СА

Сергей Аксёнов... in Боль Тимлида
Рост не всегда можно спланировать) Иногда он приходит и ставит перед фактом)

Вендор лок зло, конечно. Но например S3 особо альтернативы нет, начиная с определенных масштабов(
источник
02:53пожаловаться#3

СА

Сергей Аксёнов... in Боль Тимлида
Каждому событию присваивается uuid, и по этому полю сделан уникальный индекс.
источник
02:54пожаловаться#4

PD

Phil Delgyado in Боль Тимлида
В финтехе пределы роста часто понятны  (да и вообще очевидны).
Ну и S3 - это не vendor lock, если аккуратно. Сейчас много кто S3 поддерживает
источник
02:55пожаловаться#5

PD

Phil Delgyado in Боль Тимлида
Так там же все равно не гарантируется уникальность записей при merge, насколько я помню.
источник
02:55пожаловаться#6

СА

Сергей Аксёнов... in Боль Тимлида
Финтех да. А например игры - нет. А если есть виральные механики - то можно однажды ночью проснуться от того, что всё легло под нагрузкой, которая выросла в пять раз за два часа.
источник
02:57пожаловаться#7

PD

Phil Delgyado in Боль Тимлида
Это да, сильно зависит от домена.
источник
02:57пожаловаться#8

T

Tim in Боль Тимлида
это лучше чем утром получить счет о списании с банковского счета пару сотен тысяч за AWS?))
источник
02:59пожаловаться#9

СА

Сергей Аксёнов... in Боль Тимлида
Оказывается, по ссылке всё написано: "Движок для хранения взяли ReplacingMergeTree, так как он позволяет удалять дубликаты из определённой партиции, просто выполнив OPTIMIZE… FINAL."
источник
03:02пожаловаться#10

PD

Phil Delgyado in Боль Тимлида
А, ну да, но это дорогая операция же.
источник
03:02пожаловаться#11

СА

Сергей Аксёнов... in Боль Тимлида
Партиционирование суточное, как раз раз в сутки и можно.
источник
03:03пожаловаться#12

PD

Phil Delgyado in Боль Тимлида
Т.е. там работа только со старыми данными, которые старше суток?
источник
03:03пожаловаться#13

PD

Phil Delgyado in Боль Тимлида
Но вроде даже FINAL не гарантирует, что будет только один merge блок на партицию.
И там при дедупликации убиваются полностью одинаковые записи только, насколько я помню...
источник
03:04пожаловаться#14

СА

Сергей Аксёнов... in Боль Тимлида
Ну аккуратно надо) Хотя случаи разные бывали. Тут вот намедни хакеры отправил СМСок на несколько тысяч в Камерун) Оказалось, мы ручку "изменить телефон" рейт-лимитом не закрыли(
источник
03:05пожаловаться#15

СА

Сергей Аксёнов... in Боль Тимлида
Агрегации и отчёты считаются за вчерашний день. Работа с сегодняшними данными идёт явочным порядком.
источник
03:06пожаловаться#16

PD

Phil Delgyado in Боль Тимлида
Ага, если не нужна уникальность для текущих данных, то должно более-менее работать, хотя четкие гарантии не указаны в документации (увы)
источник
03:06пожаловаться#17

СА

Сергей Аксёнов... in Боль Тимлида
Дубликаты в нашем случае (аналитические события) всегда полные. Если неполные - то они наверное и не дубликаты.
источник
03:07пожаловаться#18

СА

Сергей Аксёнов... in Боль Тимлида
Ну и в целом дубликатов не так много. Основной механизм их появления - клиент накопил пачку, начал отправлять и что-то случилось со связью. Он думал, что не отправил, потому что не получил от сервера 200 ок, а оказалось что таки да.
источник
03:09пожаловаться#19

PD

Phil Delgyado in Боль Тимлида
Это-то понятно. Но если они вылезли, а по ним сделали суммирование - то могут быть неприятности )
источник
03:09пожаловаться#20