A
Size: a a a
2021 July 07
p
Кончилось место - создаём новый кластер и клеим его со старым через distributed setup
A
Добавляем ноду в кластер без остановки сервиса
PD
А в чем проблема файлы по кафке слать? Норм )
A
Мне не нравится что 1 файл может занять столько же места сколько занимает (гораздо больше, пусть например) 1000 обычных сообщений.
А если поток плотный и время хранения большое, плюс коэффициент репликации, то хранилище должно быть очень большим.
А если поток плотный и время хранения большое, плюс коэффициент репликации, то хранилище должно быть очень большим.
AV
Мы рассматривали это решение. Но есть необходимость контроля от ИБ.
PD
Так retention можно поставить небольшой
PD
У кафки (confluent server) есть и проверка схем сообщений и работа с правами доступа на топики.
T
Ой, пиздеть только не надо, а.
У вас точно есть реальный опыт эксплуатации этого куска опенсорса?
У вас точно есть реальный опыт эксплуатации этого куска опенсорса?
PD
Ну и можно (нужно) резать крупные файлы на чанки
T
В distributed minio место добавляется: А) Только добавлением ещё одной кучи хранилищ с такой же parity Б) Только с остановкой сервиса.
AV
А если инкапсуляты в сообщения еще упакованы каким нибудь форматом типа Зипа или Рара... он может на лету с ними работать?
SB
Они в РФ не продают, Гамов про это писал как-то. ИБ вряд ли это понравится.
PD
Так кто мешает уже zip порезать по кусочкам? Какая разница )
PD
Ну, много кто не поставляет, это вполне решается. Вроде даже поддержку купить можно.
PD
Но может оно и в базовой есть, я не помню (
T
А оно и предназначено только на поиграться. Создавали его пацаны из гластера, отсюда и болячки те же. Parity сугубо пофайловое, в отличие от рейда, а значит, либо будет медленный heal, либо забивайте серверы SSD до 1-2TB объёма.
SB
Кафка поддерживает компрессию, но на уровне протокола общения, а не внутри сообщений.
Впрочем, это лучше в чате по кафке спросить или у конфлюента. Валидация там идёт по avro, другие варианты, насколько я помню, не поддерживаются.
Впрочем, это лучше в чате по кафке спросить или у конфлюента. Валидация там идёт по avro, другие варианты, насколько я помню, не поддерживаются.
PD
Если исходные файлы уже упакованы, то зачем дальше паковать, передавать as is
Ну и упаковать чанки в avro, да )
Ну и упаковать чанки в avro, да )
p
Насколько я помню, там ещё и дурацкая схема 1 объект - 1 файл?