Size: a a a

Архитектура ИТ-решений

2021 July 07

T

The in Архитектура ИТ-решений
1 объект — 1 каталог с именем объекта, в нём файл с метаданными (везде) плюс чанк данных, получаемый кодами Соломона-Рида.
Это если в distributed mode.
В single mode всё проще: 1 объект — 1 файл. Работает по скорости на уровне nginx. Не падает в OOM, в отличие от distributed mode.
источник

GM

Gerr Mes in Архитектура ИТ-решений
Всех чанков можно ведь в теории не дождаться - соответственно у "сборщика" будет какой то time out после которого надо попросить все еще раз (ну либо вычислять каких чанков нет и просить только их) - придется чутка повозиться :) Отдельное "передаточное" хранилище выглядит проще/надежней
источник

A

Alex in Архитектура ИТ-решений
и опять же, это не целевая нагрузка для mq/kafka. расходуем ресурс на передачу вспомогательной инфы за счет основной инфы
источник

A

Alex in Архитектура ИТ-решений
при бесконечных ресурсах/малой нагрузке ок
источник

Ms

Mutko says in Архитектура ИТ-решений
Это запах)
источник

Ms

Mutko says in Архитектура ИТ-решений
Причем достаточно сильный, проще передать путь до файла и тогда оно безопасно с точки зрения изменений исходного файла
источник

AM

Andrei Moiseev in Архитектура ИТ-решений
Понятно, что можно. Но в чем выгода по сравнению с передачей ссылки и хранением файла отдельно?
источник

A

Alex in Архитектура ИТ-решений
выгода в том что не нужно отдельное хранилище файлов, эксплуатация и т.д
источник

A

Alex in Архитектура ИТ-решений
но производительней как я сказал)
источник

PD

Phil Delgyado in Архитектура ИТ-решений
Для кафки - точно дождешься, там же порядок гарантирован внутри партиции.
источник

A

Alex in Архитектура ИТ-решений
чанкование и сериализация файла, сборка файла на принимающей стороне, повторный запрос при временной недоступности

против

получения файла по tcp/ip
источник

PD

Phil Delgyado in Архитектура ИТ-решений
Ну, кстати, для передачи по кафке нет проблем с "докачкой", там как раз все однозначно и просто (ну если до 10000 файлов одновременно надо получать), по tcp/ip чуть тяжелее, нужно докачку реализовывать.
Но, вроде бы, обсуждали проблему "СБ не дает сделать общую файловую шару между двумя зонами" и обсуждали, как можно еще это сделать.
источник

A

Alex in Архитектура ИТ-решений
файловая шара и объектное хранилище немного разное)
источник

PD

Phil Delgyado in Архитектура ИТ-решений
Ну, если можно поднять Ceph или СХД с поддержкой S3 - то да, это лучше.
Но, часто, сильно-сильно дороже (
источник

A

Alex in Архитектура ИТ-решений
можно поэкономить, nginx + webdav модуль
источник

A

Alex in Архитектура ИТ-решений
выглядит как веб сервер с файлами, рабочее решение, но и риски принимать надо
источник

A

Alex in Архитектура ИТ-решений
вроде с всех сторон обсудили, можно наверно закрыть тему)
источник
2021 July 09

MA

Moiseev Artem in Архитектура ИТ-решений
Привет, сейчас хочу переделать канбан доску команды в джире, использовать буду метод static A3.
Подскажите лучшие практики которые используете в команде, если есть примеры канбан доски вообще супер. Может какие-то инсайты или правила, которые для вас важны
Команда у нас проектная, не продуктовая.
источник

СХ

Саддам Хусейн... in Архитектура ИТ-решений
че-то я было сунулся с этим авро... мне не нравится короче. еще одна точка отказа, чуть что не так с реестром схем - поди потом расшифруй че в топики залито. думал места на диске сэкономлю. лучше бы сжатие топиков включил. потом узнал что многие авро не используют, "потому что оно так гибче"
источник

АК

Алексей Козлов... in Архитектура ИТ-решений
а стандартная чем плоха?
источник