Size: a a a

2020 July 22

@

@mr_tron in Go-go!
Daniel Podolsky
а что такое - большая?
очевидна что та которая тербует масштабирования
источник

DP

Daniel Podolsky in Go-go!
сонная википедия
так string(buf[:n]) тоже переаллокация и копирование
а так делать и не надо
источник

DP

Daniel Podolsky in Go-go!
@mr_tron
очевидна что та которая тербует масштабирования
да почти никакая не требует, так-то
источник

ЛА

Локоть Анатолий... in Go-go!
Daniel Podolsky
а что такое - большая?
Та, с которой, при которой при всей оптимизации со стороны бд наблюдаются неприемлемые тайминги из-за большого кол-ва операций с ней, которое в свою очередь вытекает из большого кол-ва данных.
источник

VL

V L in Go-go!
Локоть Анатолий
Та, с которой, при которой при всей оптимизации со стороны бд наблюдаются неприемлемые тайминги из-за большого кол-ва операций с ней, которое в свою очередь вытекает из большого кол-ва данных.
операции чтения или записи?
источник

Н

Никита in Go-go!
Локоть Анатолий
Та, с которой, при которой при всей оптимизации со стороны бд наблюдаются неприемлемые тайминги из-за большого кол-ва операций с ней, которое в свою очередь вытекает из большого кол-ва данных.
А можно пример запроса такого
источник

ВС

Владимир Столяров... in Go-go!
Локоть Анатолий
Та, с которой, при которой при всей оптимизации со стороны бд наблюдаются неприемлемые тайминги из-за большого кол-ва операций с ней, которое в свою очередь вытекает из большого кол-ва данных.
из личного опыта: иногда делают шардинг, иногда - просто перенос холодных данных в другую базу
источник

DP

Daniel Podolsky in Go-go!
Локоть Анатолий
Та, с которой, при которой при всей оптимизации со стороны бд наблюдаются неприемлемые тайминги из-за большого кол-ва операций с ней, которое в свою очередь вытекает из большого кол-ва данных.
вы самую важную часть вопроса хотите проскочить
источник

ЛА

Локоть Анатолий... in Go-go!
Никита
А можно пример запроса такого
Простой селект по уникальному ключу, если таких запросов тысячи в секунду
источник

VL

V L in Go-go!
Локоть Анатолий
Простой селект по уникальному ключу, если таких запросов тысячи в секунду
партиционирование не помогает?
источник

VL

V L in Go-go!
и индексы?
источник

ЛА

Локоть Анатолий... in Go-go!
V L
партиционирование не помогает?
Помогает, но с ним есть сложности - если запрос охватывает больше одного шарда, то такой запрос работает ещё дольше, чем по общей большой таблице.
Думал, может есть ещё какие подходы.
источник

DP

Daniel Podolsky in Go-go!
V L
партиционирование не помогает?
оно же только в очень узком классе задач помогает. и без изучения проблемы ничего сказать нельзя
источник

VL

V L in Go-go!
Daniel Podolsky
оно же только в очень узком классе задач помогает. и без изучения проблемы ничего сказать нельзя
а тут очень узкий селект по уникальному ключу 🙂
источник

DP

Daniel Podolsky in Go-go!
V L
а тут очень узкий селект по уникальному ключу 🙂
если тысячи в секунду и рандомные - не поможет
источник

АП

Александр Попов... in Go-go!
я в mysql бахал табличку на 128 миллионов на 6 поле интовых + выборка по ним
источник

АП

Александр Попов... in Go-go!
только на индексах
источник

АП

Александр Попов... in Go-go!
вопрос - насколько быстро вам надо
источник

VL

V L in Go-go!
Daniel Podolsky
если тысячи в секунду и рандомные - не поможет
если сделать партиционирование по этом ключу и индекс по нему же, то не поможет?
источник

ЛА

Локоть Анатолий... in Go-go!
Daniel Podolsky
вы самую важную часть вопроса хотите проскочить
У меня есть таблица на десятки миллионов записей. При росте данных в ней, тайминги увеличились. Запросы - а основном селекты по уникальному ключу. намного реже есть агреригующие запросы.Если сделать шардирование - те несколько инстансов бд и там хранить порции данных, то для запросов по уникальному ключу все становится лучше, но больше и сложнее становится агрегирующий запрос, ТК с ним приходится обходить все шарды, потом собирать все данные в кучу.
Вот такую картину я имею.
источник