У всей тройки кастомная инфраструктура, в которую было вложено много человеко-лет

которую сложно сравнивать с инсталяцией поверх какого-нибудь висана или классической схд

ну конечно это небо и земля, но идеологически подход с транзиент виртуалками / кластерами по запросу (и хранения всего в каком-нибудь айсилоне) вполне можно и в приватное облако перенести

главное не пытаться эмулировать бареметал персистент кластера с виртуалками, это просто лишено финансового смысла как на приватным облаках, так и в гугле/амазоне

два чая

Это не верно с точки зрения фихической архитектуры и концепции переноса вычислительных ресурсов как можно ближе к точкам хранения информации (одна из основных концепций Hadoop, это полностью убивает смысл в 3-х кратной репликации). По этому, работать будет скорее всего медленнее, чем при аналогичном конфиге на физических машинах. Но в целом - допустимо.

Очень дискуссионный вопрос (про близость к точкам хранения и проч.), если вглядеться, какое железо стоит под всем этим (схд, коммутация и т.п.). Полностью согласен, что на голом железе будет быстрее, но такого голого железа «в розницу» не продают - только стойками.

а зачем вам в розницу?

Планирую до конца этого года разобрать эту тему подробнее - как эффективно использовать наши конкретные виртуальные ресурсы (включая фактор репликации, локальность данных, эластичность и т.п.)

вы напишите чего хотите, если для экспериментов что-то маленькое и не обязательно быстрое - делайте на том что есть

Мне не надо, у меня есть. Вопрос был не мой, автору, возможно, такого железа не добыть (за разумные деньги). Или так - был бы я ип, не купил бы, дорого (хоть и хорошо)

пардон, автор действительно замолчал

Просветите , что значит P в кап теореме. Лучше на примерах Кафки.

Partition tolerance: The system continues to operate despite an arbitrary number of messages being dropped (or delayed) by the network between nodes

Если коротко: система распределённая, ноды общаются между собой - координируются, данные пересылают, балансируются. Если что-то в этом процессе идёт не в жёстком тайминге, то система не должна вставать колом.

Яндекс.Практикум открыл набор в Школу наставников для аналитиков и специалистов по машинному обучению.

Вы научитесь обучать младших специалистов и управлять группой сотрудников. Также разберём, как устроена мотивация и что делать со «сложными» членами команды.

Обучение бесплатное и проходит онлайн с 9 по 20 октября.

Чтобы попасть в Школу необходимо пройти небольшой отбор на сайте до 1 октября. Подробности по ссылке - https://praktikum.yandex.ru/promo/mentors-school#

кафка это СР система, это значит что когда сеть падает вы можете продолжать читать и писать пока у вас удовлетворяется условие min in-sync replicas

строго говоря она не полностью partition tolerant, но я обсуждал с Кайлом на его тренинге, ее стоит рассматривать как CP пока большинство нод имеют связность