Кому интересно обсуждать дизайн систем. Например такие вопросы ,как сделать систему аналогичную google docs или TikTok ,то создал группу для этого @system_design_ru.  Если тут нельзя такие сообщения оставлять , то извиняюсь. Но это не реклама. Мы тут все свои )

А чем существующие группы по архитектуре не подошли, зачем еще одна?

А можно пару ссылок на существующие?

https://t.me/itarchitect
https://t.me/microservices_ru
Ну и там уже можно дальше спрашивать про более конкретные чатики (по данным, по безопасности и т.п.)

Пфф.. То архитектура, а тут Дизайн!

Ну, архитектура шире, но системная архитектура от дизайна ничем, вроде бы, не отличается.

Приветствую коллеги!

Такой вопрос. Какая база данных подходит по хранение grid данных?

Наша компания занимается метеоданными. Есть апи которые по запрашиваемой координате отдает метеопараметры в точке: температуру, осадки, давление и тд. И отдает прогноз по этим параматрам на несколько суток вперед. Нагрузка с каждым месяцем растет. Простое чтение из файлов уже не справляется. Данные хранятся в grid-файлах. Изучаем возможность складывать данные в БД для быстрого доступа. Хотим сделать кластер на основе выбранного решения, поэтому БД должна поддерживать высокую доступность (репликация, шардирование, партицирование). Рассматриваем такие варианты: PostGIS, ScyllaDB, GeoMessa. Но уверенности нет ни в одном. Может кто-то имел дело с похожей задачей, буду благодарен за советы.

На первый взгляд по описанию Postgres + PostGIS решают бизнес задачу. Вам останется в рамках postgres настроить "шардирование, партиционирование". В плане работы со spatial данными вам нужно будет просто создать индексы под ваши запросы и они будут быстро работать.

А НФТ какие? Сколько данных, какие профили выборки, частота запросов и т.п.
Все от этого зависит.

да самые интересные вопросы не озвученны

Добрый день, господа, посоветуйте какую-нибудь литературу, статьи по highload архитектуре, best practices и др

Загуглите доклады Highload прошлых лет, и смотрите как сериальчик.

Спасибо за идею, но хотелось бы текстовой версии, т.к. видео доклады занимают много времени

Онтико на Хабр расшифровки постит. С раскадровкой слайдов + видео.

Но лучшие доклады - не всегда полезные и правильные.

вот неплохая репа с основными понятиями и кучей ссылок на реальные архитектуры: https://github.com/donnemartin/system-design-primer

Я как раз занимаюсь шардированием в постгресе, могу я позадавать уточняющие вопросы в личке?