Телеграмм чат группы tarantoolru страница 7700

2021 March 11

AK

Alexey Kuzin in Tarantool

Берите tarantool-java, если вам нужен JDBC. Для всего остального я рекомендовал бы cartridge-java.

источник

16:52пожаловаться #1

AK

Alexey Kuzin in Tarantool

В том числе для работы со Spring

источник

16:52пожаловаться #2

DK

Dmitry Krokhin in Tarantool

Евгений

Если вытащить select ом больше 200k падает через раз

Предполагаю, что это может быть из-за невозможности переиспользовать память которая была алоцирована для результата предыдущего селекта. Мы проходили что-то похожее и нам здорово помогло снижение min_tuple_size до 8 байт чтобы повторно утилизировать память с бОльшим успехом. выше монс рассказывал что происходит внутри https://t.me/tarantoolru/166595

Mons Anderson in Tarantool

Ох, как грустненько...

Давайте я опишу как это внутри, а вы попробуете подобрать коэффициенты.

Чтобы сохранить элемент размера X ищется подходящий слаб, назрачение размера которого будет > X

Начинаем со slab_alloc_minimal (он-же memtx_min_tuple_size), по умолчанию равняется 32.
Далее добавляем по 8 байт максимум 31 раз.
(Т.е. в диапазоне 32..280 байт слабы выделяются с шагом 8 байт)
Если X > 280, то алгоритм продолжается: мы берём последний максимальный размер и умножаем его на slab_alloc_factor (по умолчанию 1.05) до тех пор, пока данные не впишутся (ну и ещё там есть выравнивание). пример продолжения: 280*1.05=294, 294*1.05=308, ...

Что можно тюнить:
1. Можно поменять фактор. Например поставить 2. Это сильно уменьшит количество различных классов и повысит переиспользование выделенных слабов.
2. Можно поднять memtx_min_tuple_size. Это поднимет стартовую точку отсчёта.

Для ваших данных я вижу следующую картину:

У вас немного данных, которые меньше 1 kb. Можно сделать memtx_min_tuple_size=776 (1024-31*8)…

источник

16:53пожаловаться #3

AK

Alexey Kuzin in Tarantool

Олег Кузьменко

Хочу понять какое целевое решение будет наиболее оптимальным и стабильным.

cartridge-java содержит много улучшений касательно построения отказоустойчивых решений — автоматические реконнекты, повторы запросов, балансировка запросов по кластеру в соответствии со встроенной или пользовательской стратегией, возможность динамического получения адресов для подключения от внешнего источника.

источник

16:55пожаловаться #4

DS

Dmitry Sharonov in Tarantool

Dmitry Krokhin

Предполагаю, что это может быть из-за невозможности переиспользовать память которая была алоцирована для результата предыдущего селекта. Мы проходили что-то похожее и нам здорово помогло снижение min_tuple_size до 8 байт чтобы повторно утилизировать память с бОльшим успехом. выше монс рассказывал что происходит внутри https://t.me/tarantoolru/166595

Mons Anderson in Tarantool

Ох, как грустненько...

Давайте я опишу как это внутри, а вы попробуете подобрать коэффициенты.

Чтобы сохранить элемент размера X ищется подходящий слаб, назрачение размера которого будет > X

Начинаем со slab_alloc_minimal (он-же memtx_min_tuple_size), по умолчанию равняется 32.
Далее добавляем по 8 байт максимум 31 раз.
(Т.е. в диапазоне 32..280 байт слабы выделяются с шагом 8 байт)
Если X > 280, то алгоритм продолжается: мы берём последний максимальный размер и умножаем его на slab_alloc_factor (по умолчанию 1.05) до тех пор, пока данные не впишутся (ну и ещё там есть выравнивание). пример продолжения: 280*1.05=294, 294*1.05=308, ...

Что можно тюнить:
1. Можно поменять фактор. Например поставить 2. Это сильно уменьшит количество различных классов и повысит переиспользование выделенных слабов.
2. Можно поднять memtx_min_tuple_size. Это поднимет стартовую точку отсчёта.

Для ваших данных я вижу следующую картину:

У вас немного данных, которые меньше 1 kb. Можно сделать memtx_min_tuple_size=776 (1024-31*8)…

да ладно? то есть слаб аллокация повлияла на луа-аллокации? выглядит крайне...неожиданно

источник

16:55пожаловаться #5

DK

Dmitry Krokhin in Tarantool

На самом деле я просто предполагаю, что это может быть связано. У нас, например, не так много вставок, в основном селекты и уменьшение размера повлияло на утилизацию памяти просто великолепно.

источник

16:57пожаловаться #6

DS

Dmitry Sharonov in Tarantool

Dmitry Krokhin

На самом деле я просто предполагаю, что это может быть связано. У нас, например, не так много вставок, в основном селекты и уменьшение размера повлияло на утилизацию памяти просто великолепно.

именно луа-памяти? не арены?

источник

16:58пожаловаться #7

ОК

Олег Кузьменко... in Tarantool

Alexey Kuzin

cartridge-java содержит много улучшений касательно построения отказоустойчивых решений — автоматические реконнекты, повторы запросов, балансировка запросов по кластеру в соответствии со встроенной или пользовательской стратегией, возможность динамического получения адресов для подключения от внешнего источника.

а в cartridge-springdata под капотом cartridge-java? или так нельзя говорить

Е

Предполагаю, что это может быть из-за невозможности переиспользовать память которая была алоцирована для результата предыдущего селекта. Мы проходили что-то похожее и нам здорово помогло снижение min_tuple_size до 8 байт чтобы повторно утилизировать память с бОльшим успехом. выше монс рассказывал что происходит внутри https://t.me/tarantoolru/166595

Mons Anderson in Tarantool

Ох, как грустненько...

Давайте я опишу как это внутри, а вы попробуете подобрать коэффициенты.

Чтобы сохранить элемент размера X ищется подходящий слаб, назрачение размера которого будет > X

Начинаем со slab_alloc_minimal (он-же memtx_min_tuple_size), по умолчанию равняется 32.
Далее добавляем по 8 байт максимум 31 раз.
(Т.е. в диапазоне 32..280 байт слабы выделяются с шагом 8 байт)
Если X > 280, то алгоритм продолжается: мы берём последний максимальный размер и умножаем его на slab_alloc_factor (по умолчанию 1.05) до тех пор, пока данные не впишутся (ну и ещё там есть выравнивание). пример продолжения: 280*1.05=294, 294*1.05=308, ...

Что можно тюнить:
1. Можно поменять фактор. Например поставить 2. Это сильно уменьшит количество различных классов и повысит переиспользование выделенных слабов.
2. Можно поднять memtx_min_tuple_size. Это поднимет стартовую точку отсчёта.

Для ваших данных я вижу следующую картину:

У вас немного данных, которые меньше 1 kb. Можно сделать memtx_min_tuple_size=776 (1024-31*8)…

Спасибо

источник

16:59пожаловаться #9

AK

Alexey Kuzin in Tarantool

Олег Кузьменко

а в cartridge-springdata под капотом cartridge-java? или так нельзя говорить

Почему нельзя?) Так и есть, это явно указано в репозитории

источник

16:59пожаловаться #10

DK

Dmitry Krokhin in Tarantool

Dmitry Sharonov

именно луа-памяти? не арены?

у меня сейчас уже не получится собрать данные, но если порассуждать логически, то луа процедура которая делает выборку алоцирует её в луа-памяти. у нас речь не шла о простых iproto-select

источник

17:00пожаловаться #11

DS

Dmitry Sharonov in Tarantool

Dmitry Krokhin

у меня сейчас уже не получится собрать данные, но если порассуждать логически, то луа процедура которая делает выборку алоцирует её в луа-памяти. у нас речь не шла о простых iproto-select

да, но она же это не слабами делает...правда, @inthrax ?

источник

17:01пожаловаться #12

MA

Mons Anderson in Tarantool

Dmitry Sharonov

да, но она же это не слабами делает...правда, @inthrax ?

ну луашка слабами не пользуется. так что то, что изменение фактора аллокации слабов повлияло на луа — это интересный момент. тут лучше спрашивать знатоков luajit

источник

17:03пожаловаться #13

ОК

Олег Кузьменко... in Tarantool

Alexey Kuzin

У нас также есть testcontainers: https://github.com/tarantool/cartridge-java-testcontainers
Может быть вам будет удобнее. Настраивается тоже переменными окружения.

GitHub

tarantool/cartridge-java-testcontainers

Special testcontainers for Tarantool and Tarantool Cartridge - tarantool/cartridge-java-testcontainers

подскажите пожалуйста, на винде можно запустить или только на unix?

источник

17:19пожаловаться #14

AK

Alexey Kuzin in Tarantool

Олег Кузьменко

подскажите пожалуйста, на винде можно запустить или только на unix?

На винде запускайте с мастера, см. https://github.com/tarantool/cartridge-java-testcontainers/issues/10

GitHub

Can't mount directory under windows. Error: Mount denied: The source path "/C:/work/git/cartridge-springdata/target/test-classes/cartridge:/app:rw" too many colons · Issue #10 · tarantool/cartridge-java-testcontainers

Spring data integration tests fail to start under windows. Container init code: protected static final TarantoolCartridgeContainer tarantoolContainer = new TarantoolCartridgeContainer("car...

источник

17:20пожаловаться #15

AK

Alexey Kuzin in Tarantool

Скоро тегнем версию

источник

17:20пожаловаться #16

ОК

Олег Кузьменко... in Tarantool

спасибо )

источник

17:21пожаловаться #17

KY

Kirill Yukhin in Tarantool

Привет! Знаю, что тут есть некоторое число студентов и эта информация будет им интересна: пару дней назад Гугл отобрал менторские организации на Google Summer of Code 2021, и там есть множество интересных проектов, в которых студенты могли бы поучаствовать этим летом.
Уже сейчас можно пройтись по предлагаемым идеям в проектах и начать разговаривать с менторами из участвующих команд. Регистрация студентов откроется 29-го марта.

Наш проект Tarantool в этом году тоже был отобран в GSoC-2021 https://summerofcode.withgoogle.com/organizations/4813527870603264/ и у нас тоже есть множество интересных идей.

Withgoogle

Google Summer of Code

источник

17:26пожаловаться #18

d

d9k in Tarantool

ищу удалённую работу с Tarantool
hh.ru/resume/47b697d1ff0201c90e0039ed1f6b3163675677

источник

17:28пожаловаться #19

MA

Mons Anderson in Tarantool

d9k

ищу удалённую работу с Tarantool
hh.ru/resume/47b697d1ff0201c90e0039ed1f6b3163675677

Вот тут много тарантула :)
https://team.mail.ru/vacancy/6863/
https://team.mail.ru/vacancy/14307/
https://team.mail.ru/vacancy/14379/

источник

17:55пожаловаться #20