MF
2021-03-17 23:17:51.421 [598] snapshot/101/main C> 0.5M rows written
2021-03-18 00:04:53.710 [598] main/4719/main C> not enough memoryвот тут луа память скорее всего
вот тут луа память скорее всего
Size: a a a
2021 March 18
вот тут луа память скорее всего
A
Dmitry Lukovkin
Не пинайте сильно, что не совсем по теме чата вопрос. Но может посоветует кто в какую сторону смотреть. Ситуация такая. Есть серврер физический на Centos, на нем крутится гошный софт и тарантул. Гошный софт создает подключения к сайтам в интернете и запрашивает/отдает данные. Все идет хорошо, но с периодичностью где то раз в 2 дня на серваке перестает работать сеть, ни Гошный софт, ни тарантул ни ssh не могут установить какие либо сетевые соединения (при этом сам сервак, судя по логам работает нормально). После рестарта сервера счетчик идет с нуля и снова где то на 2-й день все по новой. В логах сервера ошибок нет от слова вообще.(ни в dmesg ни в message) Пытаюсь обвесить сервер метриками сейчас, но трудно сразу угадать куда смотреть. Из предположений моих только то, что Гошный софт копит коннекты и при превышении net.netfilter.nf_conntrack_max просто не устанавливаются новые соединения. Пытаюсь получить подтверждение этому. Еще вариант с проблемами сетевой карты или кабелем(но это на мой взгляд менее вероятно)
Есть у кого идеи что можно помониторить, чтоб поймать за руку бандита?
Есть у кого идеи что можно помониторить, чтоб поймать за руку бандита?
есть подозрение что у гошного хттп клиента заканчиваются подключения
A
A
может поможет
A
но нужно смотреть конечно же софт сам
MA
есть подозрение что у гошного хттп клиента заканчиваются подключения
там у всего заканчивается сеть, не только у гошки
A
но это может быть как последствие
A
а причиной может быть то что коннекты не закрываются
A
хотя то же не ясно какой клиент используется, который по умолчанию или более производительный
DL
Да, мы и хотим поймать виновника. Началось все именно когда запустили там go софт. Но надо понять что там кончилось, может потюнить можно чего
MA
Мы в личке ещё попереписывались. Но количество активных соединений/сокетов в норме
A
точно ли закрываете соеденение? как минимум defer resp.Body.Close() то что помню, хотя давно не писал код хттп клиента на го, мог что то забыть
TS
а netstat-то что показывает, в каком состоянии сокеты?
DL
Сейчас обложил всевозможными метриками. Ждем как упадет сеть снова. Будет tcpdump до кучи
DL
а netstat-то что показывает, в каком состоянии сокеты?
Ну пока все Ok вот так картина выглядит:
TS
DL
когда станет плохо запустите что-то вроде такого
sudo netstat -anp | grep WAITЭто последняя строчка в моем скрине. Я тоже на это грешу. Типа много коннектов в единицу времени пушнули при дефолтных настройках conntrack, переполнение таблицы и привет
MA
а netstat-то что показывает, в каком состоянии сокеты?
sockets: used 834
TCP: inuse 469 orphan 0 tw 53 alloc 503 mem 508
UDP: inuse 1 mem 18
UDPLITE: inuse 0
RAW: inuse 0
FRAG: inuse 0 memory 0
TCP: inuse 469 orphan 0 tw 53 alloc 503 mem 508
UDP: inuse 1 mem 18
UDPLITE: inuse 0
RAW: inuse 0
FRAG: inuse 0 memory 0