Size: a a a

2020 April 28

M

Mik in gcp_ru
Привет всем, не ловили проблему когда траф идет на иной деплоймент? Тобишь не на тот что нужно? Gke, примы
источник

S

Slach in gcp_ru
Mik
Привет всем, не ловили проблему когда траф идет на иной деплоймент? Тобишь не на тот что нужно? Gke, примы
а кто его туда тащит?
kind: Service
...
 ServiceType: LoadBalancer ?
источник

M

Mik in gcp_ru
Slach
а кто его туда тащит?
kind: Service
...
 ServiceType: LoadBalancer ?
Перед апкой стоит сервис помоиму кластерипи, перед сервисом нгинкс ингресс. Рестарт пода деплоймента решает проблему, смена ингреса и пересоздание сервиса не дал эфекта
источник

S

Slach in gcp_ru
Mik
Перед апкой стоит сервис помоиму кластерипи, перед сервисом нгинкс ингресс. Рестарт пода деплоймента решает проблему, смена ингреса и пересоздание сервиса не дал эфекта
хм, ну дык это... у вас в сервисе который ClusterIP
там же есть всякие условия matchLabel и т.п.
по которому оно выбирает Поды на которые трафик будет перенаправлять

когда вы рестарт пода делаете, сервис понимает что с подом беда и направляет трафик куда

вам надо про canary / blue / green deployment почитать
и посмотреть куда нибудь в сторону
https://github.com/bookingcom/shipper

а почему у вас стало НЕСКОЛЬКО деплойментов которые стали удовлетворять условиям сервиса?

может деплоймент один просто вы в нем rollout делаете? и ожидаете что оно сразу трафик на старые реплики (поды в репликасете) перестанет гнать?
источник

ZO

Zon Orti in gcp_ru
Mik
Привет всем, не ловили проблему когда траф идет на иной деплоймент? Тобишь не на тот что нужно? Gke, примы
А с обычным lb или гугловым ингрессом трафик нормально перекидывается? В какой момент трафик идёт не туда? Что меняется?
источник

M

Mik in gcp_ru
Slach
хм, ну дык это... у вас в сервисе который ClusterIP
там же есть всякие условия matchLabel и т.п.
по которому оно выбирает Поды на которые трафик будет перенаправлять

когда вы рестарт пода делаете, сервис понимает что с подом беда и направляет трафик куда

вам надо про canary / blue / green deployment почитать
и посмотреть куда нибудь в сторону
https://github.com/bookingcom/shipper

а почему у вас стало НЕСКОЛЬКО деплойментов которые стали удовлетворять условиям сервиса?

может деплоймент один просто вы в нем rollout делаете? и ожидаете что оно сразу трафик на старые реплики (поды в репликасете) перестанет гнать?
С лейбами все нормально, если сделать форвард порта в сервисе на локальную машину, работает как нужно. Мне кажется тут чтото химичит либо кубпрокси, и в таблесах проставляет не тот сервис либо кублет чтото не делает. У меня порядка 200 апок, и эта проблема переодически случается с 1 или 2 деплойментами. Я грешу что когда прим нода пересоздается, чтото идет не так и куб проски по какомуто стечению обстоятельст шлет траф по сути не в тот деплоймент.
источник

M

Mik in gcp_ru
Zon Orti
А с обычным lb или гугловым ингрессом трафик нормально перекидывается? В какой момент трафик идёт не туда? Что меняется?
С обычными не пробовал, но вчера пока был глючный под переключился на траефик, нечиго не изменилось, поетому не в ингресе дело, по логам ингрес шлет на тот сервис что нужно и вот сам кубер шлет траф не туда. Не успел вчера дойти дальне, так как нода пересоздалась и все стало нормально. Буду ждать еще одного глюкавого
источник

S

Slach in gcp_ru
Mik
С лейбами все нормально, если сделать форвард порта в сервисе на локальную машину, работает как нужно. Мне кажется тут чтото химичит либо кубпрокси, и в таблесах проставляет не тот сервис либо кублет чтото не делает. У меня порядка 200 апок, и эта проблема переодически случается с 1 или 2 деплойментами. Я грешу что когда прим нода пересоздается, чтото идет не так и куб проски по какомуто стечению обстоятельст шлет траф по сути не в тот деплоймент.
так, давайте с терминами определимся?, трафик шлется в ПОДЫ
деплоймент это абстракция над репликасетами а репликасет абстракция над подами...

трафик в деплоймент слаться точно не может...

давайте еще раз
у вас Сервис
на который шлет трафик ingress
Сервис это абстракция грубо говоря над iptables ( или над BPF ) в зависимости от того какой у вас CNI

я правильно понимаю что вы ноду из кластера на ходу вынимаете, не ставя на ней taint ?
источник

ZO

Zon Orti in gcp_ru
А куда приходит этот трафик? Прим - это preemptible?
источник

M

Mik in gcp_ru
Ноду убивает сам GKE так как это споты грубо говоря, да под деплойментом я имею введу поды что там бегут, так вот ингрес отправляет трафик в один сервис, а прилитает траф посути в другой
источник

M

Mik in gcp_ru
Zon Orti
А куда приходит этот трафик? Прим - это preemptible?
Трафик приходит в рамдомный другой сервис/деплоймент, да прим это примитбл
источник

ZO

Zon Orti in gcp_ru
И случается это после того, как одна из нод отключается и заменяется на другую?
источник

M

Mik in gcp_ru
Zon Orti
И случается это после того, как одна из нод отключается и заменяется на другую?
это мое предположение, потому как обнаруживается это только тогда когда девы или тестировщики заходят на сайт а получают совсем другой сайт)
источник

ZO

Zon Orti in gcp_ru
Не знаю, насколько это адекватно, но мы в результате слезли с преемтибл нод, возможно именно по этой причине.
Сейчас уже не помню, но доступность хромала на них. Были подозрения, что dns глючит, если его регулярно рестартует.
источник

M

Mik in gcp_ru
Zon Orti
Не знаю, насколько это адекватно, но мы в результате слезли с преемтибл нод, возможно именно по этой причине.
Сейчас уже не помню, но доступность хромала на них. Были подозрения, что dns глючит, если его регулярно рестартует.
Я и на днс грешил, включил даже local dns cache, благо он в 1.15 уже можно включать в самой гуйне гугла. Но не помогло. Насколько кост вырос если считать что при аренде целый месяц гугл дает скидос?
источник

ZO

Zon Orti in gcp_ru
Мы решили, что время людей дороже, точных цифр не помню. Нам CDU даёт хорошие скидки, финансы это устраивает.
источник

ZO

Zon Orti in gcp_ru
Или CUD.. короче то, где на год подписываешься
источник

S

Slach in gcp_ru
Mik
Трафик приходит в рамдомный другой сервис/деплоймент, да прим это примитбл
в рандомный прямо?
очень странно, в рандомный по идее точно не должен...
источник

M

Mik in gcp_ru
Slach
в рандомный прямо?
очень странно, в рандомный по идее точно не должен...
ну тоесть траф приходит в иной неймспейс и в деплоймент с иными лейбами.
источник

ZO

Zon Orti in gcp_ru
Если есть время - сделайте автодетект таких кейсов, с данными станет попроще.
источник