ЕО
Если у вас реально нет апдейтов, то возьмите кликхауз
Size: a a a
2020 July 22
ЛА
Если шардирование решает проблему, то партиционирование тоже решит и избавит от проблем с агрегированием данных.
Партиционирование ведь работает в рамках одного сервера бд.
Мы все равно упремся в максимальную мощность этого сервера рано или поздно.
Хотя партиционирование позволяет сделать запросы на много партиций прозрачными - это правда
Мы все равно упремся в максимальную мощность этого сервера рано или поздно.
Хотя партиционирование позволяет сделать запросы на много партиций прозрачными - это правда
DP
Партиционирование ведь работает в рамках одного сервера бд.
Мы все равно упремся в максимальную мощность этого сервера рано или поздно.
Хотя партиционирование позволяет сделать запросы на много партиций прозрачными - это правда
Мы все равно упремся в максимальную мощность этого сервера рано или поздно.
Хотя партиционирование позволяет сделать запросы на много партиций прозрачными - это правда
а вот если вам очевидно уже, что понадобится кластер - вам точно надо смотреть в сторону кластерной субд. например - cassandra/scylla
ЛА
а вот если вам очевидно уже, что понадобится кластер - вам точно надо смотреть в сторону кластерной субд. например - cassandra/scylla
Спасибо
p
У меня есть таблица на десятки миллионов записей. При росте данных в ней, тайминги увеличились. Запросы - а основном селекты по уникальному ключу. намного реже есть агреригующие запросы.Если сделать шардирование - те несколько инстансов бд и там хранить порции данных, то для запросов по уникальному ключу все становится лучше, но больше и сложнее становится агрегирующий запрос, ТК с ним приходится обходить все шарды, потом собирать все данные в кучу.
Вот такую картину я имею.
Вот такую картину я имею.
nvme ssd + докинуть памяти
S
Партиционирование ведь работает в рамках одного сервера бд.
Мы все равно упремся в максимальную мощность этого сервера рано или поздно.
Хотя партиционирование позволяет сделать запросы на много партиций прозрачными - это правда
Мы все равно упремся в максимальную мощность этого сервера рано или поздно.
Хотя партиционирование позволяет сделать запросы на много партиций прозрачными - это правда
ну чтобы упереться в производительность постгреса на более менее нормальном сервере - надо много миллионов записей ежесекундно ворочать. Судя по всему проблема именно в распухших индексах, а не в недостатке производительности сервера.
p
У меня есть таблица на десятки миллионов записей. При росте данных в ней, тайминги увеличились. Запросы - а основном селекты по уникальному ключу. намного реже есть агреригующие запросы.Если сделать шардирование - те несколько инстансов бд и там хранить порции данных, то для запросов по уникальному ключу все становится лучше, но больше и сложнее становится агрегирующий запрос, ТК с ним приходится обходить все шарды, потом собирать все данные в кучу.
Вот такую картину я имею.
Вот такую картину я имею.
какой размер бд и индексов? во что упираешься? io? cpu?
ВГ
Партиционирование ведь работает в рамках одного сервера бд.
Мы все равно упремся в максимальную мощность этого сервера рано или поздно.
Хотя партиционирование позволяет сделать запросы на много партиций прозрачными - это правда
Мы все равно упремся в максимальную мощность этого сервера рано или поздно.
Хотя партиционирование позволяет сделать запросы на много партиций прозрачными - это правда
какой объем данных и что это за данные?
ЛА
ну чтобы упереться в производительность постгреса на более менее нормальном сервере - надо много миллионов записей ежесекундно ворочать. Судя по всему проблема именно в распухших индексах, а не в недостатке производительности сервера.
Там и ворочается много миллионов. Не ежесекундно конечно, но вот размер бд и рост я скинул.
Замена железа на сервере мягко говоря не слишком быстрая, в том время как можно подготовить много серверов вперёд на рост на длительное время, если выбрать горизонтальное масштабирование.
Замена железа на сервере мягко говоря не слишком быстрая, в том время как можно подготовить много серверов вперёд на рост на длительное время, если выбрать горизонтальное масштабирование.
ЛА
какой размер бд и индексов? во что упираешься? io? cpu?
У меня пока есть только метрики таймингов из приложения.
ЛА
какой объем данных и что это за данные?
80 млн текущий, растет по 20 млн в месяц
Это объем записей
Это объем записей
S
Там и ворочается много миллионов. Не ежесекундно конечно, но вот размер бд и рост я скинул.
Замена железа на сервере мягко говоря не слишком быстрая, в том время как можно подготовить много серверов вперёд на рост на длительное время, если выбрать горизонтальное масштабирование.
Замена железа на сервере мягко говоря не слишком быстрая, в том время как можно подготовить много серверов вперёд на рост на длительное время, если выбрать горизонтальное масштабирование.
Если не ежесекундно, то несчитово) постгрес очень производителен, если на нормальном железе и настройки не дефолтные.
p
У меня пока есть только метрики таймингов из приложения.
Брендан Грегг смотрит на тебя с осуждением, потому что USE/RED и "know your hardware!"
ВГ
80 млн текущий, растет по 20 млн в месяц
Это объем записей
Это объем записей
а хранятся как долго?
Пока что постгрес должен справляться
Пока что постгрес должен справляться
S
80 млн текущий, растет по 20 млн в месяц
Это объем записей
Это объем записей
Копейки вообще.. Шардирование решит проблему с запросами на несколько лет. А там можно будет и об архивировании старья задуматься
p
У меня пока есть только метрики таймингов из приложения.
ЛА
Копейки вообще.. Шардирование решит проблему с запросами на несколько лет. А там можно будет и об архивировании старья задуматься
У меня был пример перед глазами, что не решает и концепция платиновых серверов бд, к сожалению
ВГ
У меня был пример перед глазами, что не решает и концепция платиновых серверов бд, к сожалению
решают прямые руки и много любви, а не концепции:)
S
У меня был пример перед глазами, что не решает и концепция платиновых серверов бд, к сожалению
А ты попробуй. Только почитай сначала про партиционирование в постгресе побольше, там много плюшек. Уверяю, если постгрес настроен и нормально разбиение сделаешь - на 100 лямах записей будет летать, как на тысяче.