Size: a a a

Архитектура ИТ-решений

2020 October 17

IA

Igor A in Архитектура ИТ-решений
Gennadiy Kruglov
Изначально такие штуки как гриды были предназначены для распределённых расчётов в памяти, решения исследовательских задач, в основном. Для этого на узлы нужно доставить код и данные, и посчитать. Если прилегло, повторить упражнение.

Когда лет 5 назад мы спросили коллег, где ваше место в CAP, они не нашли, что ответить. И понятно почему. Нигде. Если возникает разделение, то кластер просто разваливается. Система становится и не доступна, и не консистентна. Для решения периодически (иногда) расчётов в памяти, особенно для решения исследовательских задач, это не страшно.

Сейчас, когда есть потоковая обработка для вычислений во времени близком к реальному (малый объем горячих данных в памяти) и пакетная распределённая обработка для расчётов на больших объемах (исторических данных на дисковых массивах) место гридов вообще не понятно. С учётом того, что они они не очень толерантны к падениям узлов и задержкам.
на сях был MPI
загрузить все в память надо откуда-то. соответственно время загрузки может быть чудовищным..
исследовательские задачи да согласен. ну так нет таких тулов которые не сгодятся в этих задачах. это 360* направлений…
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Igor A
на сях был MPI
загрузить все в память надо откуда-то. соответственно время загрузки может быть чудовищным..
исследовательские задачи да согласен. ну так нет таких тулов которые не сгодятся в этих задачах. это 360* направлений…
О, да) Привет Coherence) можно былины слагать про время загрузки

Не уловил мысль про 360*
источник

IA

Igor A in Архитектура ИТ-решений
В исследовательских задачах применяют все если/где надо.
Мне кажется аргумент что штука X там все же сгодится очень специфичный.
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Igor A
В исследовательских задачах применяют все если/где надо.
Мне кажется аргумент что штука X там все же сгодится очень специфичный.
Да, специфичный
источник

А

Александр in Архитектура ИТ-решений
Использование грида в качестве распределенного кэша. Не?
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Александр
Использование грида в качестве распределенного кэша. Не?
А почему не распределённый кэш в качестве распределённого кэша?
источник

F

Fagor in Архитектура ИТ-решений
Оффтоп, но все же:
Вот почему абсолютно разные понятия, в разных сферах, средствами арго приводят в одно звучание/написание? Я минуту пытался понять что тут написанно выше, так как до этого вышел из беседы про банки, где в том числе был разговор и про "кэш" т.е. "кэш флоу" по счету. 🤦‍♂ Я в печали.
источник

AD

Alex Demidov in Архитектура ИТ-решений
Fagor
Оффтоп, но все же:
Вот почему абсолютно разные понятия, в разных сферах, средствами арго приводят в одно звучание/написание? Я минуту пытался понять что тут написанно выше, так как до этого вышел из беседы про банки, где в том числе был разговор и про "кэш" т.е. "кэш флоу" по счету. 🤦‍♂ Я в печали.
cache и cash произносятся одинаково и в оригинале.
источник

F

Fagor in Архитектура ИТ-решений
Ну может увидев англоязычное написание, быстро бы переключился. Хотя все еще ужаснее с "печеньками" будет, если до этого рецепты обсуждать, а потом в баузеры и веб переключиться. Звоночек, может пора завязывать с ИТ.
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Fagor
Ну может увидев англоязычное написание, быстро бы переключился. Хотя все еще ужаснее с "печеньками" будет, если до этого рецепты обсуждать, а потом в баузеры и веб переключиться. Звоночек, может пора завязывать с ИТ.
Наверно стоит подождать, в этом году не стоит делать резких движений)
источник

А

Александр in Архитектура ИТ-решений
Gennadiy Kruglov
А почему не распределённый кэш в качестве распределённого кэша?
Если дополнительно можно будет хранить не только ключ-значение, а ещё и табличные данные с возможностью использовать sql, а ещё и агрегаты считать, то не вижу почему от этого надо отказываться
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Александр
Если дополнительно можно будет хранить не только ключ-значение, а ещё и табличные данные с возможностью использовать sql, а ещё и агрегаты считать, то не вижу почему от этого надо отказываться
А зачем?
источник

А

Александр in Архитектура ИТ-решений
У архитектора должна быть хорошая фантазия :) была бы возможность, а то как это применить всегда можно придумать
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Какие конкретно кейсы, когда необходимо выполнять SQL поверх кэша и когда нужно считать агрегаты на данных из кэша? Причём, такие кейсы, когда других альтернатив нет
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Александр
У архитектора должна быть хорошая фантазия :) была бы возможность, а то как это применить всегда можно придумать
У архитекторов должен быть прежде всего здравый смыл
источник

А

Александр in Архитектура ИТ-решений
Альтернативы есть всегда, вопрос компромисса. Проще быстрее, дешевле
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Александр
Альтернативы есть всегда, вопрос компромисса. Проще быстрее, дешевле
Интересуют конкретные кейсы из вашей практики
источник

AD

Alex Dev in Архитектура ИТ-решений
Gennadiy Kruglov
Какие конкретно кейсы, когда необходимо выполнять SQL поверх кэша и когда нужно считать агрегаты на данных из кэша? Причём, такие кейсы, когда других альтернатив нет
кол-во лайков и просмотры на ютубе именно так и считаются
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Alex Dev
кол-во лайков и просмотры на ютубе именно так и считаются
Как конкретно?
источник

А

Александр in Архитектура ИТ-решений
Конкретный кейс загрузка в кэш параллельно с бд и все чтение из кэша, все запросы за пределами кэша потом как нибудь как очередь дойдет. Запись в бд батчами минимум индексов. По тестам 300 тыс записей в сек в 1 инстанс вместо шардов бд, имдг под чтение
источник