Size: a a a

2020 December 02

VG

Vladislav Grubov in Tarantool
Евгений
Может я не умею готовить vshard но ребалансироваться без паузы ни разу не получалось. А это не допустимо
на write есть даунтайм, но на read данные полностью доступны. Причем, в текущей архитектуре вшарда можно заплатить латенси на write (повисеть на таймауте) и все равно обработать без ошибок, если размеры бакетов подобраны корректно (бакет достаточно быстро переезжает на другой сторадж)
источник

MO

Maxat Oralbaev in Tarantool
Mons Anderson
Правильнее говорить не на луа, а на картридже. Потому что этот пример чисто картриджный
лошадь это животное или млекопитающие.?? так представляю весь проект это луа модули по си
источник

Е

Евгений in Tarantool
Vladislav Grubov
на write есть даунтайм, но на read данные полностью доступны. Причем, в текущей архитектуре вшарда можно заплатить латенси на write (повисеть на таймауте) и все равно обработать без ошибок, если размеры бакетов подобраны корректно (бакет достаточно быстро переезжает на другой сторадж)
В том то и прикол что есть кейсы где нужен полный доступ. R/W причем под нагрузкой
источник

VG

Vladislav Grubov in Tarantool
Евгений
Может я не умею готовить vshard но ребалансироваться без паузы ни разу не получалось. А это не допустимо
а как вы добились отсутствия write даунтайма во время решардинга? Кажется, что при достаточно высоком рпс вы не можете гарантировать его отсутствие
источник

Е

Евгений in Tarantool
Vladislav Grubov
а как вы добились отсутствия write даунтайма во время решардинга? Кажется, что при достаточно высоком рпс вы не можете гарантировать его отсутствие
Работает мастер. Копия данных льется на слейв. Это одна конфигурация. Потом меняем конфигурацию шарда. Применяем ее для слейва, очищаем его и запускаем синхронизацию. Как только мастер и слейв сравнялись и идет норм работа, делаем слейв мастером
источник

Е

Евгений in Tarantool
Дальше все тоже самое для бывшего мастера
источник

Е

Евгений in Tarantool
Ни секунды простоя. Проблема только в том что все руками
источник

VG

Vladislav Grubov in Tarantool
плохо вас понял, допустим у вас есть репликасет мастер+2 слейва по 500ГБ RAM. У вас кончилась память, нужно один мастер разбить на 2, как вы это сделаете?
источник

VG

Vladislav Grubov in Tarantool
Евгений
Дальше все тоже самое для бывшего мастера
пока я понял это как бутстрап новой реплики и свитч роли мастер<->реплика. Не понимаю что происходит с данными
источник

Е

Евгений in Tarantool
В текущей реализации 1 мастер 1 слейв.
источник

Е

Евгений in Tarantool
Vladislav Grubov
плохо вас понял, допустим у вас есть репликасет мастер+2 слейва по 500ГБ RAM. У вас кончилась память, нужно один мастер разбить на 2, как вы это сделаете?
во первых никто не дожидается того момента когда кончится память, во вторых мы не 1 инстанс разбираем а весь шард, применяем к нему новую конфигурацию. Получается что вместо 12 инстансов мы вводим 13.
источник

Е

Евгений in Tarantool
Получается что 12 мастеров реплицируются с 13 слейвами
источник

Е

Евгений in Tarantool
потом просто меняем их местами
источник

R

R-omk in Tarantool
воще нихрена не понятно)
источник

Е

Евгений in Tarantool
Кейс требует максимальной скорости и простоты
источник

VG

Vladislav Grubov in Tarantool
Ага, то есть вы к одному мастеру (который хотите разбить) цепляете 2 новых слейва, потом старый мастер в ro, обоих слейвов в rw и тут у вас есть супер крутой балансер/роутер/ваше приложение, которое понимает что сейчас только что произошло и начинает роутить нагрузку уже корректно на 2 новых мастера?
источник

R

R-omk in Tarantool
а на 13   какие данные из этих 12 ?
источник

VG

Vladislav Grubov in Tarantool
R-omk
а на 13   какие данные из этих 12 ?
а так нельзя, репликасет не собирется же 🙂 Ну либо там все это один репликационный кластер, но тогда нельзя будет сделать больше 16 шардов в такой схеме (32 реплики в vclock и все такое)
источник

Е

Евгений in Tarantool
Vladislav Grubov
а так нельзя, репликасет не собирется же 🙂 Ну либо там все это один репликационный кластер, но тогда нельзя будет сделать больше 16 шардов в такой схеме (32 реплики в vclock и все такое)
так у меня не vshard. Когда писался свой велосипед, никакого vshard даже в планах не было
источник

VG

Vladislav Grubov in Tarantool
Евгений
так у меня не vshard. Когда писался свой велосипед, никакого vshard даже в планах не было
так, у меня тоже не везде vshard 🙂 поэтому интересно узнать как вы сделали свое решение в этом месте, потому что по сути ради него вшард и затевался
источник