Size: a a a

Архитектура данных

2020 November 25

OP

O. Petr in Архитектура данных
cs самодостаточна(тем самым более гибка в общей архитектуре) и тем более сейчас все в облака уходют
источник

GK

Gennadiy Kruglov in Архитектура данных
O. Petr
cs самодостаточна(тем самым более гибка в общей архитектуре) и тем более сейчас все в облака уходют
Не все и не совсем. Да, многие компании часть проектов переводят в облака. Ничего нового в этом смысле за последние несколько лет.

Мне нравится CS, но при наличии экосистемы Hadoop, а в нагруженных проектах она часто есть, использования CS почти всегда можно избежать. Что и происходит.
источник

GK

Gennadiy Kruglov in Архитектура данных
А теперь представим такой кейс. У Cassandra и так не было фатальных проблем с пропускной способностью, при этом она довольно зрелая.

Появляется Scilla, по сути - ещё одна база, которую нужно изучать, тестировать, обучать ей людей. А что у неё с поддержкой? А что с сообществом? Так себе выбор, если честно. Где Профит? На коммодити серверах экономия?
источник

AS

Andrey Smirnov in Архитектура данных
Gennadiy Kruglov
И там и там есть витамин С, в апельсинах больше, но можно обойтись и без них.

Без Cassandra точно можно обойтись в нагруженных проектах.

Но при наличии нормального драйвера развития (вменяемых вендоров) Cassandra была бы более привлекательной.

У Kafka и HBase, например, такие драйверы есть.

А упоминание Сбера вообще похоже на манипуляцию.
если вам нужна доступность, то   hbase не подойдет, о чем вы спорите, у него есть единая точка отказа (то что прикрутили стандбай сервер  от этого не сильно спасает, если вам критически важна доступность).
у кассандры гораздо более развитая система хранения данных,   hbase со своим array[byte] туп как валенок, феникс только довносит проблем.
При этом на текущем проекте у меня hbase, на предыдущих была кассандра, и я спорю об этом уже попробовав этих устриц
источник

GK

Gennadiy Kruglov in Архитектура данных
Andrey Smirnov
если вам нужна доступность, то   hbase не подойдет, о чем вы спорите, у него есть единая точка отказа (то что прикрутили стандбай сервер  от этого не сильно спасает, если вам критически важна доступность).
у кассандры гораздо более развитая система хранения данных,   hbase со своим array[byte] туп как валенок, феникс только довносит проблем.
При этом на текущем проекте у меня hbase, на предыдущих была кассандра, и я спорю об этом уже попробовав этих устриц
Я и то и другое рассматриваю как "витрины" в лямбда/каппа архитектуре.

И тут уже нужно смотреть, какая доступность нужна и для чего. В этих архитектурах RAW данные пишутся параллельно в Hadoop, причём через Kafka.

При правильном дизайне ничего фатального не произойдёт, если HBase будет недоступен какое-то время.

А Феникс удобен, он нравится пользователям и широко используется. Админам может быть что-то и не удобно.
источник

GK

Gennadiy Kruglov in Архитектура данных
Иными словами, в Лямбда/Каппа архитектуре данные не пишутся напрямую в CS/HBase, а пишутся в распределённый персистетный лог, например Kafka.

При этом в сценариях использования CS в основном важна именно доступность на запись.
источник

GK

Gennadiy Kruglov in Архитектура данных
Часто проблемы не в самих базах, а в том, что разработчики не умеют или не хотят дизайнить решения, и не знают сами базы. В последнем случае критически важна поддержка.
источник

e

er@essbase.ru in Архитектура данных
Поддержка отвечает на архитектурные вопросы ?)
источник

e

er@essbase.ru in Архитектура данных
Какая ???
источник

AS

Andrey Smirnov in Архитектура данных
Gennadiy Kruglov
Иными словами, в Лямбда/Каппа архитектуре данные не пишутся напрямую в CS/HBase, а пишутся в распределённый персистетный лог, например Kafka.

При этом в сценариях использования CS в основном важна именно доступность на запись.
значит вам так "везло", что не было проектов где критична было именно доступность на чтение, жесткий sla на это.
источник

AS

Andrey Smirnov in Архитектура данных
а про феникс, если ты пишешь им, то и читать можно только им (или писать свои енкодеры, такое себе развлечение).
Это не значит что hbase плох, он просто другой, для олап например там есть более-менее удобный kylin
источник

GK

Gennadiy Kruglov in Архитектура данных
Andrey Smirnov
значит вам так "везло", что не было проектов где критична было именно доступность на чтение, жесткий sla на это.
Это часто вопрос дизайна.

Доступность на чтение важна во всех решениях. Именно во всех..

Но далеко не факт, что доступность на чтение важна в сценариях использования Cassandra.
источник

GK

Gennadiy Kruglov in Архитектура данных
Мой посыл в том, что при наличии экосистемы Hadoop, наличие Cassandra в ландшафте весьма спорный вопрос.

При этом, зачем проект Scilla, вообще не понятно. Какие преимущества она даёт? Пока кроме экономии на итак недорогих коммодити серверах/облаках, явных преимуществ не видно.
источник

GK

Gennadiy Kruglov in Архитектура данных
Основной сценарий использования Cassandra - быстро писать события, например в IoT, и возможно иногда какие-то из этих событий читать.

При этом события сначала пишутся в Каfka и весь CEP строится поверх её топиков с помощью потоковой обработки.
источник

AS

Andrey Smirnov in Архитектура данных
Gennadiy Kruglov
Мой посыл в том, что при наличии экосистемы Hadoop, наличие Cassandra в ландшафте весьма спорный вопрос.

При этом, зачем проект Scilla, вообще не понятно. Какие преимущества она даёт? Пока кроме экономии на итак недорогих коммодити серверах/облаках, явных преимуществ не видно.
Сокращение кол-ва серверов в 10x это отличный результат, к  тому же это сокращение админов/их работы,  scylla поддерживают протокол кассандры, поддержка у них есть. Но эти устрицы я не ел, то что некоторые крупные компании переехали на них, показывает что решение жизнеспособно.
источник

GK

Gennadiy Kruglov in Архитектура данных
Andrey Smirnov
Сокращение кол-ва серверов в 10x это отличный результат, к  тому же это сокращение админов/их работы,  scylla поддерживают протокол кассандры, поддержка у них есть. Но эти устрицы я не ел, то что некоторые крупные компании переехали на них, показывает что решение жизнеспособно.
В 10x сущестенно, но нужны пруфы конечно
источник

e

er@essbase.ru in Архитектура данных
Success stories
источник

R

Roman in Архитектура данных
Ещё одна из очень важных преимуществ сцилы - это поддержка апи AWS Dynamo DB. И есть куча историй успеха переезда на сциллу и экономии денег, потому что динамо золотой
источник

GK

Gennadiy Kruglov in Архитектура данных
Тогда понятно
источник

GK

Gennadiy Kruglov in Архитектура данных
А на сегодня по Scylla:
- ни одной книги на Amazon найти не удалось
- курсы кроме как на https://university.scylladb.com/ найти не удалось

Как использовать это в Энтерпрайзе не понятно. Точнее понятно, в R&D проектах если очень хочется.
источник