Может еще покапать в сторону airflow, metaflow, luigi

Всем привет, ребята дайте пожл совет. Есть таблица ~400гб, которая заполняется с большой скоростью, хотел сделать шардирование по выражению (id mod countServers) и соответственно выборку по этому же выражению, но тут возникла проблема - в условии выборки(select) может не участвовать id, а значит придется искать данные по всем шардам, а это не есть хорошо, как быть в такой ситуации?

в какой базе таблица?

база одна пока центральная

Mysql знаю, PostgreSQL знаю, про Центральную базу не слышал пока.. Рассказывайте :)

не понял сначала вопрос простите, голова мыслит шардами))) база mysql)

меняйте select чтобы в нем всегда был ключ

был где-то доклад про шардирование... а у вас там OLTP нагрузка в основном? С шардированием вы попадете на темную сторону рано или поздно, с одной стороны конечно хорошо что в один шард ходит, а с другой - начинается hot partitions проблема и там уже грусть боль и слезы

Посмотрите в сторону Vitess, если у вас MySQL

я всегда старался по максимуму оттянуть шардирование... юзал например TokuDB engine от перконы он сжимает неплохо...

может там можно какие-то старые данные переносить в другую таблицу? типа hot-cold storage

в крайнем думаю так и придется сделать, но пока смотрим в сторону распределения данных, либо репликация, но делать реплики таблицы в 400гб тоже как то не айс..

А что не так с запросами без ключа? Да, будут не так эффективны, но смогут  выполняться параллельно на всех шардах.

Кстати, реторический вопрос. Если реляционная база разрастается так, что приходится делать шардирование, не лучше ли перейти на так называемые BASE? Я понимаю, что если проект уже большой, то поменять технологию фактически нереально. Но если мы только начинаем и заранее предполагается, что база будет большой, и ее придется маштабировать, что бы вы выбрали, ACID или BASE? Вопрос риторический) просто любопытен чужой опыт)

А какую конкретно базу вы предлагаете

ACID - это гарантии, а BASE - химера.

Если гарантии не нужны, а огромные объёмы нужны, то нереляционные субд удобнее.

тут не соглашусь. есть же кликхаус. он очень удобен

а он поддерживает транзакции?

нет. хотят сделать, но пока их нет от слова совсем, но это аналитическая база.

ACID это гарантии на одном (мастер) сервере...