Привет всем, не ловили проблему когда траф идет на иной деплоймент? Тобишь не на тот что нужно? Gke, примы

а кто его туда тащит?
kind: Service
...
 ServiceType: LoadBalancer ?

Перед апкой стоит сервис помоиму кластерипи, перед сервисом нгинкс ингресс. Рестарт пода деплоймента решает проблему, смена ингреса и пересоздание сервиса не дал эфекта

хм, ну дык это... у вас в сервисе который ClusterIP
там же есть всякие условия matchLabel и т.п.
по которому оно выбирает Поды на которые трафик будет перенаправлять

когда вы рестарт пода делаете, сервис понимает что с подом беда и направляет трафик куда

вам надо про canary / blue / green deployment почитать
и посмотреть куда нибудь в сторону
https://github.com/bookingcom/shipper

а почему у вас стало НЕСКОЛЬКО деплойментов которые стали удовлетворять условиям сервиса?

может деплоймент один просто вы в нем rollout делаете? и ожидаете что оно сразу трафик на старые реплики (поды в репликасете) перестанет гнать?

А с обычным lb или гугловым ингрессом трафик нормально перекидывается? В какой момент трафик идёт не туда? Что меняется?

С лейбами все нормально, если сделать форвард порта в сервисе на локальную машину, работает как нужно. Мне кажется тут чтото химичит либо кубпрокси, и в таблесах проставляет не тот сервис либо кублет чтото не делает. У меня порядка 200 апок, и эта проблема переодически случается с 1 или 2 деплойментами. Я грешу что когда прим нода пересоздается, чтото идет не так и куб проски по какомуто стечению обстоятельст шлет траф по сути не в тот деплоймент.

С обычными не пробовал, но вчера пока был глючный под переключился на траефик, нечиго не изменилось, поетому не в ингресе дело, по логам ингрес шлет на тот сервис что нужно и вот сам кубер шлет траф не туда. Не успел вчера дойти дальне, так как нода пересоздалась и все стало нормально. Буду ждать еще одного глюкавого

так, давайте с терминами определимся?, трафик шлется в ПОДЫ
деплоймент это абстракция над репликасетами а репликасет абстракция над подами...

трафик в деплоймент слаться точно не может...

давайте еще раз
у вас Сервис
на который шлет трафик ingress
Сервис это абстракция грубо говоря над iptables ( или над BPF ) в зависимости от того какой у вас CNI

я правильно понимаю что вы ноду из кластера на ходу вынимаете, не ставя на ней taint ?

А куда приходит этот трафик? Прим - это preemptible?

Ноду убивает сам GKE так как это споты грубо говоря, да под деплойментом я имею введу поды что там бегут, так вот ингрес отправляет трафик в один сервис, а прилитает траф посути в другой

Трафик приходит в рамдомный другой сервис/деплоймент, да прим это примитбл

И случается это после того, как одна из нод отключается и заменяется на другую?

это мое предположение, потому как обнаруживается это только тогда когда девы или тестировщики заходят на сайт а получают совсем другой сайт)

Не знаю, насколько это адекватно, но мы в результате слезли с преемтибл нод, возможно именно по этой причине.
Сейчас уже не помню, но доступность хромала на них. Были подозрения, что dns глючит, если его регулярно рестартует.

Я и на днс грешил, включил даже local dns cache, благо он в 1.15 уже можно включать в самой гуйне гугла. Но не помогло. Насколько кост вырос если считать что при аренде целый месяц гугл дает скидос?

Мы решили, что время людей дороже, точных цифр не помню. Нам CDU даёт хорошие скидки, финансы это устраивает.

Или CUD.. короче то, где на год подписываешься

в рандомный прямо?
очень странно, в рандомный по идее точно не должен...

ну тоесть траф приходит в иной неймспейс и в деплоймент с иными лейбами.

Если есть время - сделайте автодетект таких кейсов, с данными станет попроще.