DI
видимо этого достаточно, спасибо
Size: a a a
2020 August 04
AK
Andrey
memtx
всё равно обновитесь и проверьте ещё раз
GM
нашел гитхаб только что
вот тут может быть дополнительная информация https://www.tarantool.io/en/doc/2.3/book/monitoring/getting_started/
GM
и в соседних пунктах
AT
Andrey
повторно с той же проблемой вернулся
подскажите, как починить или хотя бы отдебажить - 2 сервера по 9 инстансов приложения на каждом, потихоньку отваливается репликация между инстансами, сначала 1-2, потом 10, потом 120 ошибок (120 проблемных пар).. и бонусом периодически segmentation fault.
centos 7, tarantool 2.3.2 / 2.3.3-0-g5be85a3 - тот же результат, сеть между серверами переключали (2 разных интерфейса)
примерно так получается - полный индекс, рестарт приложения на обоих инстансах, нагрузки на чтение и запись вообще нет - все работает сутки без проблем
включаем запись - примерно 10 запросов с суммарными 4500 записями на upsert в 3х "таблицах" (в среднем 4 инта в записи)
через 10 секунд на сервере, где все реплики (мастер 10.1.1.3:3311)
как понять, что с ним происходит вообще?
подскажите, как починить или хотя бы отдебажить - 2 сервера по 9 инстансов приложения на каждом, потихоньку отваливается репликация между инстансами, сначала 1-2, потом 10, потом 120 ошибок (120 проблемных пар).. и бонусом периодически segmentation fault.
centos 7, tarantool 2.3.2 / 2.3.3-0-g5be85a3 - тот же результат, сеть между серверами переключали (2 разных интерфейса)
примерно так получается - полный индекс, рестарт приложения на обоих инстансах, нагрузки на чтение и запись вообще нет - все работает сутки без проблем
включаем запись - примерно 10 запросов с суммарными 4500 записями на upsert в 3х "таблицах" (в среднем 4 инта в записи)
через 10 секунд на сервере, где все реплики (мастер 10.1.1.3:3311)
node2_1[22623]: main/222/applier/admin@10.1.1.3:3316 coio.cc:379 !> SystemError unexpected EOF when reading from socket, called on fd 34, aka 10.1.1.2:35106, peer of 10.1.1.3:
node2_1[22623]: main/222/applier/admin@10.1.1.3:3316 I> can't read row
node2_4[22635]: main/215/applier/admin@10.1.1.3:3317 xrow.c:215 E> ER_INVALID_MSGPACK: Invalid MsgPack - packet body
node2_4[22635]: main/215/applier/admin@10.1.1.3:3317 I> can't read row
node2_4[22635]: main/214/applier/admin@10.1.1.3:3318 I> will retry every 1.00 second
node2_4[22635]: main/214/applier/admin@10.1.1.3:3318 xrow.c:1092 E> ER_SYSTEM: timed out
node2_4[22635]: main/214/applier/admin@10.1.1.3:3318 I> can't read row
node2_9[22656]: main/218/applier/admin@10.1.1.3:3317 I> will retry every 1.00 second
node2_9[22656]: main/218/applier/admin@10.1.1.3:3317 xrow.c:1092 E> ER_SYSTEM: timed out
node2_9[22656]: main/218/applier/admin@10.1.1.3:3317 I> can't read row
node2_6[22643]: main/215/applier/admin@10.1.1.3:3311 I> will retry every 1.00 second
node2_6[22643]: main/215/applier/admin@10.1.1.3:3311 xrow.c:1092 E> ER_SYSTEM: timed out
node2_6[22643]: main/215/applier/admin@10.1.1.3:3311 I> can't read row
node2_7[22647]: main/215/applier/admin@10.1.1.3:3312 xrow.c:140 E> ER_INVALID_MSGPACK: Invalid MsgPack - packet header
node2_7[22647]: main/215/applier/admin@10.1.1.3:3312 I> can't read row
node2_9[22656]: main/234/applier/admin@10.1.1.3:3314 I> will retry every 1.00 second
node2_9[22656]: main/234/applier/admin@10.1.1.3:3314 xrow.c:1092 E> ER_SYSTEM: timed out
как понять, что с ним происходит вообще?
А есть бектрейс от сегфолта?
DI
вот тут может быть дополнительная информация https://www.tarantool.io/en/doc/2.3/book/monitoring/getting_started/
спасибо
AT
Invalid MsgPack — можно включить побольше уровень логирования, распечатает кривой msgpack.
AT
ER_SYSTEM: timed out — не может подключиться? Не хватает replication_timeout дефолтного?
A
Invalid MsgPack — можно включить побольше уровень логирования, распечатает кривой msgpack.
log_level=7 поставить?
AT
Andrey
log_level=7 поставить?
6 достаточно.
AT
Про рехешинг таблиц были какие-то фиксы.
AT
В 2.2.0-342-g925f923f5.
A
Invalid MsgPack — можно включить побольше уровень логирования, распечатает кривой msgpack.
node2_9[25198]: main/211/applier/admin@10.1.1.3:3311 V> Got a corrupted row:
node2_9[25198]: main/211/applier/admin@10.1.1.3:3311 V> 00000000: 84 00 09 02 01 03 CE 0F D7 B5 6D 04 CB 41 D7 CA
node2_9[25198]: main/211/applier/admin@10.1.1.3:3311 V> 00000010: 54 EF DC 0A 29 84 10 CD 02 08 15 01 28 91 93 A1
node2_9[25198]: main/211/applier/admin@10.1.1.3:3311 V> 00000020: 3D 03 00 21 94 CE 01 95 EB 6D CE CE 00 00 00 27
node2_9[25198]: main/211/applier/admin@10.1.1.3:3311 V> 00000030: 83
node2_9[25198]: main/211/applier/admin@10.1.1.3:3311 I> can't read row
node2_9[25198]: main/211/applier/admin@10.1.1.3:3311 xrow.c:207 E> ER_INVALID_MSGPACK: Invalid MsgPack - packet body
запись примерно такая была
local tuple = {
productId, //unsigned
location, // unsigned
price, //unsigned
-1 //int
}
box.space.product_internet:upsert(tuple, { { '=', 3, price } })
node2_9[25198]: main/211/applier/admin@10.1.1.3:3311 V> 00000000: 84 00 09 02 01 03 CE 0F D7 B5 6D 04 CB 41 D7 CA
node2_9[25198]: main/211/applier/admin@10.1.1.3:3311 V> 00000010: 54 EF DC 0A 29 84 10 CD 02 08 15 01 28 91 93 A1
node2_9[25198]: main/211/applier/admin@10.1.1.3:3311 V> 00000020: 3D 03 00 21 94 CE 01 95 EB 6D CE CE 00 00 00 27
node2_9[25198]: main/211/applier/admin@10.1.1.3:3311 V> 00000030: 83
node2_9[25198]: main/211/applier/admin@10.1.1.3:3311 I> can't read row
node2_9[25198]: main/211/applier/admin@10.1.1.3:3311 xrow.c:207 E> ER_INVALID_MSGPACK: Invalid MsgPack - packet body
запись примерно такая была
local tuple = {
productId, //unsigned
location, // unsigned
price, //unsigned
-1 //int
}
box.space.product_internet:upsert(tuple, { { '=', 3, price } })
AT
А почему invalid?
AT
В смысле, оно раскодировалось нормально?
AT
@Sergos12 Тут что-то на луаджитовом…
И @igormunkin.
IM
Andrey
При выходе с трассы случился OOM для Lua GC области. Пока, к сожалению, LuaJIT в такое не умеет.
IM