N
Если данные попали в wal - это гарантия .
Size: a a a
2020 May 16
AT
Nikolay
Надёжность почти 100прц как раз из за наличия wal
Это как? Поломался сервер откуда брать последний wal?
N
Wal обычно пишут в 2 места и потом переносят ещё куда-нибудь
AT
Ок. Ну сервер сломался же... что будет с вашими 5к запросов в секунду то? Данные пока вы будете восстанавливать будут теряться?
AT
Или накапливаться где-то
AT
С теми же гарантиями которые вы ожидаете от постгрес
AT
В общем если данные терять нельзя нужно об этом подумать. В клаудах современных эти проблемы решены, а тут имхо с одним сервером и коммитить после каждой транзакции смысла нет
N
если сервер сломался, то ни будет в кафке храниться и ждать своей очереди
N
а у кафки несколько брокеров. лучше как минимум 4. вот и будет желаемая вами распределенщина )
AT
Если хранится в кафке, то значит будете пачками забирать и вставлять в постгрес, по одной записи то зачем. А значит мы опять пришли к тому что коммит на каждую запись вам не нужен.
AT
И вопроса выдержит или нет - не стоит
AT
Перепутал вас с топик стартером - извините, непонятно что мы в таком случае обсуждаем ))
AT
У нас с вами нет разногласий по поводу кафки ))
AT
Разве что я тайный любитель redis streams но здесь про такое лучше не начинать ))
ДС
коллеги, спасибо за пристальное внимание к моему вопросу. Осень интересно было вас читать👍
2020 May 17
IV
добавлю ко вчерашней теме....
IV
про БД и 5000к insert'ов
IV
речь идет о конкуренции за ресурс... если данных будет слишком много или система уйдет в срыв... а запросы будут продолжать поступать и где-то копиться (отложенный спрос)... то сервис может так упасть, что его хрен поднимешь без полного перезапуска или сброса лишней нагрузки
IV
так что история из разряда... нельзя шардить... нельзя то... нельзя...это... давайт поставим буфер и все будет чики-пики - не всегда так...
IV
буфера в виде прослоек... лишь позволяют сгладить временно пики и выровнять нагрузку... но стоит этому пику быть чуть длииннее по времени... то все... привет.... пока и т.д.