KN
он интересный и частый
Size: a a a
2020 November 06
Д
возможно вы просто обойдетесь шардированным спейсом. но в любом случае — задайте вопрос на SO
Вопрос задал на SO. Выше ссылку кинул. Про поход в сеть вопрос хороший, ответа у меня нет, не замерял. Ранее с Ignite сталкивался, там была возможность спейсы дублировать по шардам. Т.е. там такая практика была вполне хорошей, но тут система иная, и тут может быть всё совсем не так конечно.
VG
Такой вариант тоже есть (одна из моделей). Но хотел попробовать еще когда общий слой размазан по всем, тогда, доступ к данным будет локальный, даже если узлы на разных машинах... по идее должно давать профит на сетевых хождениях, но это не точно. Возможно тут я вообще не прав и так не делают в Tarantool.
по правде говоря, решение упирается в то, насколько часто обновляются ваши словари, и насколько критично читать устаревшие данные.
если данные меняются часто, и читать устаревшие данные можно не более нескольких секунд, лучше вынести в отдельный репликасет тарантулов. если данные меняются пару раз в час, пачками, и можно читать устаревшие данные на несколько минут в прошлом, то можно создать обычные спейсы в каждом шарде, и map-запросами раскидывать в них данные с роутеров.
Можно раскидывать данные с выделенного стораджа, который будет ходить по остальным стораджам и актуализировать спейсы.
Решение с отдельным репликасетом, с точки зрения разработки и поддержки будет проще, но запросы будут немного медленее. В конце концов, на стораджах можно реализовать спейс-кеш, который будет актуализироваться из репликасета со словарем. Нужно бенчить под ваш кейс, короче
если данные меняются часто, и читать устаревшие данные можно не более нескольких секунд, лучше вынести в отдельный репликасет тарантулов. если данные меняются пару раз в час, пачками, и можно читать устаревшие данные на несколько минут в прошлом, то можно создать обычные спейсы в каждом шарде, и map-запросами раскидывать в них данные с роутеров.
Можно раскидывать данные с выделенного стораджа, который будет ходить по остальным стораджам и актуализировать спейсы.
Решение с отдельным репликасетом, с точки зрения разработки и поддержки будет проще, но запросы будут немного медленее. В конце концов, на стораджах можно реализовать спейс-кеш, который будет актуализироваться из репликасета со словарем. Нужно бенчить под ваш кейс, короче
CC
мы думали про обновление, сделали даже пр, но мержить не стали. изменений много, а польза не очевидна. да к тому же разговоры про х2о масла в огонь подливают
Понял, спасибо. Видимо придется жить на своем форке....
Д
по правде говоря, решение упирается в то, насколько часто обновляются ваши словари, и насколько критично читать устаревшие данные.
если данные меняются часто, и читать устаревшие данные можно не более нескольких секунд, лучше вынести в отдельный репликасет тарантулов. если данные меняются пару раз в час, пачками, и можно читать устаревшие данные на несколько минут в прошлом, то можно создать обычные спейсы в каждом шарде, и map-запросами раскидывать в них данные с роутеров.
Можно раскидывать данные с выделенного стораджа, который будет ходить по остальным стораджам и актуализировать спейсы.
Решение с отдельным репликасетом, с точки зрения разработки и поддержки будет проще, но запросы будут немного медленее. В конце концов, на стораджах можно реализовать спейс-кеш, который будет актуализироваться из репликасета со словарем. Нужно бенчить под ваш кейс, короче
если данные меняются часто, и читать устаревшие данные можно не более нескольких секунд, лучше вынести в отдельный репликасет тарантулов. если данные меняются пару раз в час, пачками, и можно читать устаревшие данные на несколько минут в прошлом, то можно создать обычные спейсы в каждом шарде, и map-запросами раскидывать в них данные с роутеров.
Можно раскидывать данные с выделенного стораджа, который будет ходить по остальным стораджам и актуализировать спейсы.
Решение с отдельным репликасетом, с точки зрения разработки и поддержки будет проще, но запросы будут немного медленее. В конце концов, на стораджах можно реализовать спейс-кеш, который будет актуализироваться из репликасета со словарем. Нужно бенчить под ваш кейс, короче
Да, согласен, надо замерять будет. Скорее всего будем выносить все же в отдельный репликасет. Единственное не до конца понимаю, что такое спейс кэш?
VG
Да, согласен, надо замерять будет. Скорее всего будем выносить все же в отдельный репликасет. Единственное не до конца понимаю, что такое спейс кэш?
Ну, на каждом шарде заводим Спейс, который "реплицирует" данные из выделенного репликасета. Можно завести файбер на каждом шарде и забирать пачками данные из репликасета. Типа "логическая" репликация получается
S
Добрый вечер!
Простой вопрос, имхо, не для SO.
box.space.extensions.index.secondary:select(
{city, 0},
{limit=1}
)
запрос возвращает 1 запись по порядку, как они добавлены в спейс, а хочется случайности.
в доке нашел только такой вариант, но нужен запрос с условиями
box.space.tester.index.secondary:random(1)
Простой вопрос, имхо, не для SO.
box.space.extensions.index.secondary:select(
{city, 0},
{limit=1}
)
запрос возвращает 1 запись по порядку, как они добавлены в спейс, а хочется случайности.
в доке нашел только такой вариант, но нужен запрос с условиями
box.space.tester.index.secondary:random(1)
EL
> Простой вопрос, имхо, не для SO.
не бывает таких вопросов
не бывает таких вопросов
AK
Добрый вечер!
Простой вопрос, имхо, не для SO.
box.space.extensions.index.secondary:select(
{city, 0},
{limit=1}
)
запрос возвращает 1 запись по порядку, как они добавлены в спейс, а хочется случайности.
в доке нашел только такой вариант, но нужен запрос с условиями
box.space.tester.index.secondary:random(1)
Простой вопрос, имхо, не для SO.
box.space.extensions.index.secondary:select(
{city, 0},
{limit=1}
)
запрос возвращает 1 запись по порядку, как они добавлены в спейс, а хочется случайности.
в доке нашел только такой вариант, но нужен запрос с условиями
box.space.tester.index.secondary:random(1)
Ну ок, сделайте select с условиями, а потом из получившегося списка туплов возьмите рандомный элемент по индексу
DS
offset=math.random(0, box.space.extensions.index.secondary:count({city, 0}))AK
Ну не, с офсетом как-то не то
AK
У тебя сложность будет квадратическая, в отличие от взятия по индексу из таблицы
DS
зато я не выгружаю резалтсет в луа
AK
Ну можно зашардировать и вычислять сначала рандомный бакет, а потом выгружать только этот бакет :)
S
> Простой вопрос, имхо, не для SO.
не бывает таких вопросов
не бывает таких вопросов
S
Ну можно зашардировать и вычислять сначала рандомный бакет, а потом выгружать только этот бакет :)
у меня еще 2 ключа
S
Ну ок, сделайте select с условиями, а потом из получившегося списка туплов возьмите рандомный элемент по индексу
limit=1
у меня 1 тупл в результате всегда
у меня 1 тупл в результате всегда