1 объект — 1 каталог с именем объекта, в нём файл с метаданными (везде) плюс чанк данных, получаемый кодами Соломона-Рида. Это если в distributed mode. В single mode всё проще: 1 объект — 1 файл. Работает по скорости на уровне nginx. Не падает в OOM, в отличие от distributed mode.
Всех чанков можно ведь в теории не дождаться - соответственно у "сборщика" будет какой то time out после которого надо попросить все еще раз (ну либо вычислять каких чанков нет и просить только их) - придется чутка повозиться :) Отдельное "передаточное" хранилище выглядит проще/надежней
Ну, кстати, для передачи по кафке нет проблем с "докачкой", там как раз все однозначно и просто (ну если до 10000 файлов одновременно надо получать), по tcp/ip чуть тяжелее, нужно докачку реализовывать. Но, вроде бы, обсуждали проблему "СБ не дает сделать общую файловую шару между двумя зонами" и обсуждали, как можно еще это сделать.
Привет, сейчас хочу переделать канбан доску команды в джире, использовать буду метод static A3. Подскажите лучшие практики которые используете в команде, если есть примеры канбан доски вообще супер. Может какие-то инсайты или правила, которые для вас важны Команда у нас проектная, не продуктовая.
че-то я было сунулся с этим авро... мне не нравится короче. еще одна точка отказа, чуть что не так с реестром схем - поди потом расшифруй че в топики залито. думал места на диске сэкономлю. лучше бы сжатие топиков включил. потом узнал что многие авро не используют, "потому что оно так гибче"