Size: a a a

OpenShift - русскоязычное сообщество

2020 December 17

VR

Vadim Rutkovsky in OpenShift - русскоязычное сообщество
Maxim Valeev
привет народ!
есть nginx router, на нем настроены upstream до подов. такой момент, когда идет обращение через service, то при определенной нагрузке в логах валится 110 connection time out, а когда прописсываешь адреса именно подов, то эта же нагрузка спокойно обрабатывается

подскажите, может кто сталкивался с такой траблой. либо может направьте куда копать, как этот service дебажить?
источник

RK

Roman Kravtsov in OpenShift - русскоязычное сообщество
Vadim Rutkovsky
а попробуй вот такое:
$ oc api-resources | grep certificates
certificatesigningrequests            csr              certificates.k8s.io                   false        CertificateSigningRequest
$ oc get CertificateSigningRequest.certificates.k8s.io
No resources found
$ oc get CertificateSigningRequest.v1beta1.certificates.k8s.io
W1217 12:12:06.444659 1045832 warnings.go:67] certificates.k8s.io/v1beta1 CertificateSigningRequest is deprecated in v1.19+, unavailable in v1.22+; use certificates.k8s.io/v1 CertificateSigningRequest
No resources found
?
oc api-resources | grep certificates
certificatesigningrequests        csr              certificates.k8s.io                   false        CertificateSigningRequest
error: unable to retrieve the complete list of server APIs: apps.openshift.io/v1: the server is currently unable to handle the request, authorization.openshift.io/v1: the server is currently unable to handle the request, build.openshift.io/v1: the server is currently unable to handle the request, image.openshift.io/v1: the server is currently unable to handle the request, oauth.openshift.io/v1: the server is currently unable to handle the request, packages.operators.coreos.com/v1: the server is currently unable to handle the request, project.openshift.io/v1: the server is currently unable to handle the request, route.openshift.io/v1: the server is currently unable to handle the request, security.openshift.io/v1: the server is currently unable to handle the request, user.openshift.io/v1: the server is currently unable to handle the request
источник

VR

Vadim Rutkovsky in OpenShift - русскоязычное сообщество
Roman Kravtsov
oc api-resources | grep certificates
certificatesigningrequests        csr              certificates.k8s.io                   false        CertificateSigningRequest
error: unable to retrieve the complete list of server APIs: apps.openshift.io/v1: the server is currently unable to handle the request, authorization.openshift.io/v1: the server is currently unable to handle the request, build.openshift.io/v1: the server is currently unable to handle the request, image.openshift.io/v1: the server is currently unable to handle the request, oauth.openshift.io/v1: the server is currently unable to handle the request, packages.operators.coreos.com/v1: the server is currently unable to handle the request, project.openshift.io/v1: the server is currently unable to handle the request, route.openshift.io/v1: the server is currently unable to handle the request, security.openshift.io/v1: the server is currently unable to handle the request, user.openshift.io/v1: the server is currently unable to handle the request
хмммм, а попробуй дать мастеру лейбл воркера чтобы аутентификация прошла - и потом аппрувить csr?
источник

VR

Vadim Rutkovsky in OpenShift - русскоязычное сообщество
кстати, это чистая установка?
источник

MV

Maxim Valeev in OpenShift - русскоязычное сообщество
эту доку я смотрел, особо не помогла
источник

MV

Maxim Valeev in OpenShift - русскоязычное сообщество
а есть чего еще для трабшутинга?
источник

RK

Roman Kravtsov in OpenShift - русскоязычное сообщество
Vadim Rutkovsky
кстати, это чистая установка?
да, установка читсая. Только-что запустил установку.
источник

RK

Roman Kravtsov in OpenShift - русскоязычное сообщество
NAME                              STATUS    ROLES        AGE       VERSION                INTERNAL-IP    EXTERNAL-IP    OS-IMAGE                         KERNEL-VERSION           CONTAINER-RUNTIME
okd4-spb-master1.sigma-it.local   Ready     app,master   73m       v1.19.2+7070803-1008   10.197.0.105   10.197.0.105   Fedora CoreOS 33.20201209.10.0   5.9.12-200.fc33.x86_64   cri-o://1.19.0
okd4-spb-master2.sigma-it.local   Ready     app,master   73m       v1.19.2+7070803-1008   10.197.0.106   10.197.0.106   Fedora CoreOS 33.20201209.10.0   5.9.12-200.fc33.x86_64   cri-o://1.19.0
okd4-spb-master3.sigma-it.local   Ready     app,master   73m       v1.19.2+7070803-1008   10.197.0.107   10.197.0.107   Fedora CoreOS 33.20201209.10.0   5.9.12-200.fc33.x86_64   cri-o://1.19.0
источник

RK

Roman Kravtsov in OpenShift - русскоязычное сообщество
 oc --kubeconfig /home/romank/work/SRC/okd4-spb-installer/okd4-spb/auth/kubeconfig adm certificate approve csr-27g87
No resources found
error: no kind "CertificateSigningRequest" is registered for version "certificates.k8s.io/v1" in scheme "k8s.io/kubernetes/pkg/api/legacyscheme/scheme.go:29"
источник

VR

Vadim Rutkovsky in OpenShift - русскоязычное сообщество
Roman Kravtsov
NAME                              STATUS    ROLES        AGE       VERSION                INTERNAL-IP    EXTERNAL-IP    OS-IMAGE                         KERNEL-VERSION           CONTAINER-RUNTIME
okd4-spb-master1.sigma-it.local   Ready     app,master   73m       v1.19.2+7070803-1008   10.197.0.105   10.197.0.105   Fedora CoreOS 33.20201209.10.0   5.9.12-200.fc33.x86_64   cri-o://1.19.0
okd4-spb-master2.sigma-it.local   Ready     app,master   73m       v1.19.2+7070803-1008   10.197.0.106   10.197.0.106   Fedora CoreOS 33.20201209.10.0   5.9.12-200.fc33.x86_64   cri-o://1.19.0
okd4-spb-master3.sigma-it.local   Ready     app,master   73m       v1.19.2+7070803-1008   10.197.0.107   10.197.0.107   Fedora CoreOS 33.20201209.10.0   5.9.12-200.fc33.x86_64   cri-o://1.19.0
хмм, подожжи authentication на мастерах запускается, ему не нужны воркеры.
А что он детально говорит в сообщении degraded? И еще - ingress тоже degraded?
источник

RK

Roman Kravtsov in OpenShift - русскоязычное сообщество
да, ингресс тоже
ingress                                                                    False       True          True       75m
источник

VR

Vadim Rutkovsky in OpenShift - русскоязычное сообщество
Roman Kravtsov
да, ингресс тоже
ingress                                                                    False       True          True       75m
ага, давай дадим мастеру лейбл node-role.kubernetes.io/worker: '' и подождем пока ingress и authentication пофиксятся
источник

VR

Vadim Rutkovsky in OpenShift - русскоязычное сообщество
(но это странно конечно, csr от них не зависят вообще)
источник

RK

Roman Kravtsov in OpenShift - русскоязычное сообщество
Vadim Rutkovsky
ага, давай дадим мастеру лейбл node-role.kubernetes.io/worker: '' и подождем пока ingress и authentication пофиксятся
странно, что-то не хочет он быть воркером

$ oc label node/okd4-spb-master3.sigma-it.local node-role.kubernetes.io/worker='' --overwrite=true
node/okd4-spb-master3.sigma-it.local labeled
$ oc --kubeconfig /home/romank/work/SRC/okd4-spb-installer/okd4-spb/auth/kubeconfig get nodes -o wide
NAME                              STATUS    ROLES     AGE       VERSION                INTERNAL-IP    EXTERNAL-IP    OS-IMAGE                         KERNEL-VERSION           CONTAINER-RUNTIME
okd4-spb-master1.sigma-it.local   Ready     master    103m      v1.19.2+7070803-1008   10.197.0.105   10.197.0.105   Fedora CoreOS 33.20201209.10.0   5.9.12-200.fc33.x86_64   cri-o://1.19.0
okd4-spb-master2.sigma-it.local   Ready     master    103m      v1.19.2+7070803-1008   10.197.0.106   10.197.0.106   Fedora CoreOS 33.20201209.10.0   5.9.12-200.fc33.x86_64   cri-o://1.19.0
okd4-spb-master3.sigma-it.local   Ready     master    103m      v1.19.2+7070803-1008   10.197.0.107   10.197.0.107   Fedora CoreOS 33.20201209.10.0   5.9.12-200.fc33.x86_64   cri-o://1.19.0
источник

RK

Roman Kravtsov in OpenShift - русскоязычное сообщество
забавно, oc говорит, что labeled, а в describe этой метки нет

Labels:             beta.kubernetes.io/arch=amd64
                   beta.kubernetes.io/os=linux
                   kubernetes.io/arch=amd64
                   kubernetes.io/hostname=okd4-spb-master3.sigma-it.local
                   kubernetes.io/os=linux
                   node-role.kubernetes.io/master=
                   node.openshift.io/os_id=fedora
источник

VR

Vadim Rutkovsky in OpenShift - русскоязычное сообщество
Roman Kravtsov
странно, что-то не хочет он быть воркером

$ oc label node/okd4-spb-master3.sigma-it.local node-role.kubernetes.io/worker='' --overwrite=true
node/okd4-spb-master3.sigma-it.local labeled
$ oc --kubeconfig /home/romank/work/SRC/okd4-spb-installer/okd4-spb/auth/kubeconfig get nodes -o wide
NAME                              STATUS    ROLES     AGE       VERSION                INTERNAL-IP    EXTERNAL-IP    OS-IMAGE                         KERNEL-VERSION           CONTAINER-RUNTIME
okd4-spb-master1.sigma-it.local   Ready     master    103m      v1.19.2+7070803-1008   10.197.0.105   10.197.0.105   Fedora CoreOS 33.20201209.10.0   5.9.12-200.fc33.x86_64   cri-o://1.19.0
okd4-spb-master2.sigma-it.local   Ready     master    103m      v1.19.2+7070803-1008   10.197.0.106   10.197.0.106   Fedora CoreOS 33.20201209.10.0   5.9.12-200.fc33.x86_64   cri-o://1.19.0
okd4-spb-master3.sigma-it.local   Ready     master    103m      v1.19.2+7070803-1008   10.197.0.107   10.197.0.107   Fedora CoreOS 33.20201209.10.0   5.9.12-200.fc33.x86_64   cri-o://1.19.0
источник

RK

Roman Kravtsov in OpenShift - русскоязычное сообщество
да, оно. Теперь метки worker на месте
источник

RK

Roman Kravtsov in OpenShift - русскоязычное сообщество
игресс починился, authentication пока degraded
источник

RK

Roman Kravtsov in OpenShift - русскоязычное сообщество
В общем, не дождался я и решил развернуть кластер с нуля. В манифесте cluster-scheduler-02-config.yml оставил mastersSchedulable: true, как есть. В итоге:
источник

RK

Roman Kravtsov in OpenShift - русскоязычное сообщество
источник