Size: a a a

2021 December 13

PK

Pavel Khritonenko in K8Spb
Не использую сертификаты, profit
источник

AE

Andrey Enshin in K8Spb
ну и троли :)

вероятно истио обновил и сертификаты слетели?
источник

IB

Ivan Bakursky in K8Spb
Нет, используем наши собственные серты в istio, обновили, заинжектили, все ок. Чтобы новые серты применились, надо все поды ingress-gateway порестартить, но, ввиду человеческого фактора, один не порестартился.
В итоге часть запросов валилась с 500 rc - проблема ясна - серт к этому поду.

authentication handshake failed: x509: certificate signed by unknown authority\

Вот хочется узнать у коммунити, как подобные проблемы кто решает, ибо не хочется еще раз наткнуться на эту же проблему.

По крайней мере, у istio/envoy готовых метрик на это нет.

P.S. что более удивило, readinessProbe у этого не порестарченного пода в порядке, проходит
источник

GG

George Gaál in K8Spb
никак не решаем
источник

GG

George Gaál in K8Spb
тупо роллить все поды - какие еще варианты
источник

GG

George Gaál in K8Spb
насчет метрик удивлен - должна быть метрика именно на не успешно установленное соединение
источник

GG

George Gaál in K8Spb
я в этом уверен 99.9%
источник

IB

Ivan Bakursky in K8Spb
Ну вот пока не нашел
источник

GG

George Gaál in K8Spb
> P.S. что более удивило, readinessProbe у этого не порестарченного пода в порядке, проходит

а с чего она должна факапнуться?
источник

IB

Ivan Bakursky in K8Spb
Ну по факту под не в состоянии обрабатывать входящие соединения
источник

GG

George Gaál in K8Spb
ну бывает
источник

GG

George Gaál in K8Spb
как ты думаешь - authentication handshake failed: x509: certificate signed by unknown authority\ - это на исходящее соединение из него или на входящее?
источник

GG

George Gaál in K8Spb
вот ответь на вопрос
источник

IB

Ivan Bakursky in K8Spb
Эта ошибка вообще не на вход/исход соединение возникает - xdsproxy постоянно об этом алертит в логах с error level info.
При входящем на такой под будет 500
источник

YB

Yura Beznos in K8Spb
У тебя в стандартном дашборде в меше 500 отслеживаются
источник

YB

Yura Beznos in K8Spb
По алертам тоже самое
источник

YB

Yura Beznos in K8Spb
Там везде отношения используются
источник

Е

Егор in K8Spb
Кароче, нацепи алерт на такие записи в логах, раз это такая проблема
Ох уж эти проблемы с истио
источник

YB

Yura Beznos in K8Spb
На логи алерты, хе
источник

IB

Ivan Bakursky in K8Spb
Это да
источник