Д
Size: a a a
2020 May 15
2020 May 16
ДС
Тут можно задать вопрос, получить помощь в поиске решения?
N
Тут можно задать вопрос, получить помощь в поиске решения?
задавайте
ДС
Есть бд которая умеет в среднем 1000 insert/сек. Есть 5 сервисов, которые в пике могут дать 5000 записей (пусть все одинаковые по 1кб). Как все данные запихнуть в бд не завалив её? Данные нельзя терять. Бд тюнинговать нельзя.
Мне представилось, что можно копить в промежуточном сервисе данные, и возможно задействовать bulk-insert для ускорения записи.
Мне представилось, что можно копить в промежуточном сервисе данные, и возможно задействовать bulk-insert для ускорения записи.
ДС
Бд шардировть нельзя - одна точка на вход и все.
i
Есть бд которая умеет в среднем 1000 insert/сек. Есть 5 сервисов, которые в пике могут дать 5000 записей (пусть все одинаковые по 1кб). Как все данные запихнуть в бд не завалив её? Данные нельзя терять. Бд тюнинговать нельзя.
Мне представилось, что можно копить в промежуточном сервисе данные, и возможно задействовать bulk-insert для ускорения записи.
Мне представилось, что можно копить в промежуточном сервисе данные, и возможно задействовать bulk-insert для ускорения записи.
Проверьте своё предположение. Сможет ли база insert 5000 в секунду?
Данные нельзя терять - где хранить данные в промежуточном сервисе? Кто даст гарантии кроме бд? Другая бд?
Данные нельзя терять - где хранить данные в промежуточном сервисе? Кто даст гарантии кроме бд? Другая бд?
i
Может сразу тогда быструю бд в конец пути? :)
ДС
Задача в жестких ограничениях. Бд менять нельзя. В промежуточном сервисе - допустим в книге типа Tarantool.
ДС
Проверьте своё предположение. Сможет ли база insert 5000 в секунду?
Данные нельзя терять - где хранить данные в промежуточном сервисе? Кто даст гарантии кроме бд? Другая бд?
Данные нельзя терять - где хранить данные в промежуточном сервисе? Кто даст гарантии кроме бд? Другая бд?
Сможет не сможет - это не важно. Вопрос теоритический.
Считайте у меня бассейн у которого одна труба для залива, а в нее могут лить из 5 труб с тем же диаметром и с одинаковой скоростью . Вся вода из 5 труб должна попасть в бассейн, могут включит одну, а могут все.
Считайте у меня бассейн у которого одна труба для залива, а в нее могут лить из 5 труб с тем же диаметром и с одинаковой скоростью . Вся вода из 5 труб должна попасть в бассейн, могут включит одну, а могут все.
i
Сможет не сможет - это не важно. Вопрос теоритический.
Считайте у меня бассейн у которого одна труба для залива, а в нее могут лить из 5 труб с тем же диаметром и с одинаковой скоростью . Вся вода из 5 труб должна попасть в бассейн, могут включит одну, а могут все.
Считайте у меня бассейн у которого одна труба для залива, а в нее могут лить из 5 труб с тем же диаметром и с одинаковой скоростью . Вся вода из 5 труб должна попасть в бассейн, могут включит одну, а могут все.
Результат очевиден - трубы порвёт. ;)
ДС
Результат очевиден - трубы порвёт. ;)
Я рассчитываю что 5 это короткий пик.
i
Вы в любом случае понижаете надёжность процесса сохранения данных. У вас выбор только сколько вы готовы терять. Если не готовы уменьшать надёжность - меняйте железо или бд. Если готовы понизить - ваш вариант вполне ок. Остаётся выбрать только инструмент попадающий в ваши критерии надёжности.
MF
Кассандра, монго, редис перед бд. Из них в бд постоянная репликация.
N
Можно поставить кафку перед бд.
ДС
Вы в любом случае понижаете надёжность процесса сохранения данных. У вас выбор только сколько вы готовы терять. Если не готовы уменьшать надёжность - меняйте железо или бд. Если готовы понизить - ваш вариант вполне ок. Остаётся выбрать только инструмент попадающий в ваши критерии надёжности.
Видимо так. Спасибо
ДС
Nikolay
Можно поставить кафку перед бд.
А она осилит столько ?
ДС
А если мы увеличили пик до 200000оп/с?
Мне кажется тогда можно несколько очередей сделать, над ними сервис и он из них всех набирать пачки будет которые за один bulk-insert пролезут в бд за требуемое время.
Мне кажется тогда можно несколько очередей сделать, над ними сервис и он из них всех набирать пачки будет которые за один bulk-insert пролезут в бд за требуемое время.
AT
Maksim Fedenev
Кассандра, монго, редис перед бд. Из них в бд постоянная репликация.
А как потом писать в бд? Читать скриптом пачку и писать пачку?
MF
Al T
А как потом писать в бд? Читать скриптом пачку и писать пачку?
Кафка, activemq или через шлюз задачей базы.