VR
Добрый день. Это ещё актуально или обновление OKD на 4.6 уже можно использовать?
Можно использовать, я вот вчера обновился. Это вы из https://github.com/openshift/okd/issues/395? :)
Size: a a a
2020 November 30
RK
Можно использовать, я вот вчера обновился. Это вы из https://github.com/openshift/okd/issues/395? :)
Да, я )))
VR
Да, я )))
насколько я понял там беда в том что часть нод видят внутренний днс, а часть нет. Я еще раз гляну в must-gather, может что-то новое выпрыгнет
RK
спасибо. Да, похоже на то.
RT
Если кластер создан на голом металле из конфига
То потом чтобы добавить еще мастер или воркер нод в кластер, нужно будет пересобирать заново весь кластер или будет достаточно обновить конфиги в helper ноде и запустить установку новых нод?
apiVersion: v1
baseDomain: cluster.local
metadata:
name: lab
compute:
- hyperthreading: Enabled
name: worker
replicas: 0
controlPlane:
hyperthreading: Enabled
name: master
replicas: 1
networking:
clusterNetwork:
- cidr: 10.128.0.0/14
hostPrefix: 23
networkType: OpenShiftSDN
serviceNetwork:
- 172.30.0.0/16
platform:
none: {}
fips: false
pullSecret: '{"auths":{"fake":{"auth": "bar"}}}'
sshKey: 'ssh-rsa ...'
То потом чтобы добавить еще мастер или воркер нод в кластер, нужно будет пересобирать заново весь кластер или будет достаточно обновить конфиги в helper ноде и запустить установку новых нод?
Привет, @vrutkovs тут не подскажешь?
VR
Если кластер создан на голом металле из конфига
То потом чтобы добавить еще мастер или воркер нод в кластер, нужно будет пересобирать заново весь кластер или будет достаточно обновить конфиги в helper ноде и запустить установку новых нод?
apiVersion: v1
baseDomain: cluster.local
metadata:
name: lab
compute:
- hyperthreading: Enabled
name: worker
replicas: 0
controlPlane:
hyperthreading: Enabled
name: master
replicas: 1
networking:
clusterNetwork:
- cidr: 10.128.0.0/14
hostPrefix: 23
networkType: OpenShiftSDN
serviceNetwork:
- 172.30.0.0/16
platform:
none: {}
fips: false
pullSecret: '{"auths":{"fake":{"auth": "bar"}}}'
sshKey: 'ssh-rsa ...'
То потом чтобы добавить еще мастер или воркер нод в кластер, нужно будет пересобирать заново весь кластер или будет достаточно обновить конфиги в helper ноде и запустить установку новых нод?
RK
насколько я понял там беда в том что часть нод видят внутренний днс, а часть нет. Я еще раз гляну в must-gather, может что-то новое выпрыгнет
Забавно, но у меня есть еще однин кластер OKD 4.5 на vsphere и он буквально только что приказал долго жить без каких-либо видимых причин. Перестал отвечать API на мастерах
[root@spb19-lkk-okd4-master1 ~]# journalctl -u kubelet | grep -i fail | head -n 3Третий такой же кластер на bare-metal хорошо )
ноя 29 05:43:28 spb19-lkk-okd4-master1.pesc.ru hyperkube[915]: I1129 05:43:28.828014 915 handler.go:87] Unable to get network stats from pid 1904325: couldn't read network stats: failure opening /proc/1904325/net/dev: open /proc/1904325/net/dev: no such file or directory
ноя 29 05:43:29 spb19-lkk-okd4-master1.pesc.ru hyperkube[915]: I1129 05:43:29.335835 915 vsphere.go:596] Failed to patch IP for interface "tun0" as MAC address "06:ee:3c:0d:d9:3e" does not belong to a VMware platform
ноя 29 05:43:29 spb19-lkk-okd4-master1.pesc.ru hyperkube[915]: I1129 05:43:29.736365 915 handler.go:87] Unable to get network stats from pid 1890314: couldn't read network stats: failure opening /proc/1890314/net/dev: open /proc/1890314/net/dev: no such file or directory
[root@spb19-lkk-okd4-master1 ~]#
VR
>Failed to patch IP for interface "tun0" as MAC address "06:ee:3c:0d:d9:3e" does not belong to a VMware platform
это я где-то видел, но это вроде not related
это я где-то видел, но это вроде not related
VR
Забавно, но у меня есть еще однин кластер OKD 4.5 на vsphere и он буквально только что приказал долго жить без каких-либо видимых причин. Перестал отвечать API на мастерах
[root@spb19-lkk-okd4-master1 ~]# journalctl -u kubelet | grep -i fail | head -n 3Третий такой же кластер на bare-metal хорошо )
ноя 29 05:43:28 spb19-lkk-okd4-master1.pesc.ru hyperkube[915]: I1129 05:43:28.828014 915 handler.go:87] Unable to get network stats from pid 1904325: couldn't read network stats: failure opening /proc/1904325/net/dev: open /proc/1904325/net/dev: no such file or directory
ноя 29 05:43:29 spb19-lkk-okd4-master1.pesc.ru hyperkube[915]: I1129 05:43:29.335835 915 vsphere.go:596] Failed to patch IP for interface "tun0" as MAC address "06:ee:3c:0d:d9:3e" does not belong to a VMware platform
ноя 29 05:43:29 spb19-lkk-okd4-master1.pesc.ru hyperkube[915]: I1129 05:43:29.736365 915 handler.go:87] Unable to get network stats from pid 1890314: couldn't read network stats: failure opening /proc/1890314/net/dev: open /proc/1890314/net/dev: no such file or directory
[root@spb19-lkk-okd4-master1 ~]#
>Перестал отвечать API на мастерах
а кубелеты живые?
а кубелеты живые?
FM
Коллеги, а если в логах etcd проскакивает - etcdserver read-only range request too long это проблема, что диски медленные или ресурсов маловато?
RK
>Перестал отвечать API на мастерах
а кубелеты живые?
а кубелеты живые?
да, на всех 3х мастерах Active: active (running)
Но везде ошибки вида
Но везде ошибки вида
ноя 30 10:44:36 spb19-lkk-okd4-master3.pesc.ru hyperkube[928]: I1130 10:44:36.899998 928 handler.go:87] Unable to get network stats from pid 531797: couldn't read network stats: failure opening /proc/531797/net/dev: open /proc/531797/net/dev: no such file or directory
ноя 30 10:44:36 spb19-lkk-okd4-master3.pesc.ru hyperkube[928]: I1130 10:44:36.900028 928 handler.go:130] Unable to get Process Stats: couldn't open cpu cgroup procs file /sys/fs/cgroup/cpu,cpuacct/kubepods.slice/kubepods-burstable.sli
VR
да, на всех 3х мастерах Active: active (running)
Но везде ошибки вида
Но везде ошибки вида
ноя 30 10:44:36 spb19-lkk-okd4-master3.pesc.ru hyperkube[928]: I1130 10:44:36.899998 928 handler.go:87] Unable to get network stats from pid 531797: couldn't read network stats: failure opening /proc/531797/net/dev: open /proc/531797/net/dev: no such file or directory
ноя 30 10:44:36 spb19-lkk-okd4-master3.pesc.ru hyperkube[928]: I1130 10:44:36.900028 928 handler.go:130] Unable to get Process Stats: couldn't open cpu cgroup procs file /sys/fs/cgroup/cpu,cpuacct/kubepods.slice/kubepods-burstable.sli
давай соберем must-gather и сделаем баг, передам ребятам из SDN
RK
давай соберем must-gather и сделаем баг, передам ребятам из SDN
must-gather как лучше передать?
RK
давай соберем must-gather и сделаем баг, передам ребятам из SDN
м-да, must-gather не собрать
$ ./oc adm must-gather
[must-gather ] OUT Using must-gather plugin-in image: quay.io/openshift/okd-content@sha256:5a9b4b4cdd15e8587d02490cf753c385213e6a97e5c2bf7babf416585e42fd70
[must-gather ] OUT namespace/openshift-must-gather-tp6jb created
[must-gather ] OUT clusterrolebinding.rbac.authorization.k8s.io/must-gather-sjpkd created
Delete https://api.spb19-lkk-okd4.pesc.ru:6443/apis/rbac.authorization.k8s.io/v1/clusterrolebindings/must-gather-sjpkd: http2: server sent GOAWAY and closed the connection; LastStreamID=9, ErrCode=NO_ERROR, debug=""etcdserver: request timed outError from server (InternalError): Internal error occurred: admission plugin "ServiceAccount" failed to complete mutation in 13s
VR
must-gather как лучше передать?
залить на любой файлообменник.
> etcdserver: request timed out
это как-то загадочно, а etcd на мастерах живой (
> etcdserver: request timed out
это как-то загадочно, а etcd на мастерах живой (
crictl ps -a покажет)RK
залить на любой файлообменник.
> etcdserver: request timed out
это как-то загадочно, а etcd на мастерах живой (
> etcdserver: request timed out
это как-то загадочно, а etcd на мастерах живой (
crictl ps -a покажет)да, вот они
master 1
a7b68229403fa e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Running etcd-metrics 0 f89e07c26dcdb
24365eb7fb31b e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Running etcd 0 f89e07c26dcdb
45af9cd71919f e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Running etcdctl 0 f89e07c26dcdb
ab0fd7d838816 e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Exited etcd-resources-copy 0 f89e07c26dcdb
b213384e149ea e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Exited etcd-ensure-env-vars 0 f89e07c26dcdb
master 2
d4157c77c7c39 e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Running etcd-metrics 0 466e3e8c3ef97
ddc31be40a9a1 e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Running etcd 0 466e3e8c3ef97
8d3cdbe26d827 e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Running etcdctl 0 466e3e8c3ef97
b608869c68713 e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Exited etcd-resources-copy 0 466e3e8c3ef97
ea53e538e7a6e e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Exited etcd-ensure-env-vars 0 466e3e8c3ef97
master 3
1ef8faae8b015 e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Running etcd-metrics 0 1a74126a789fb
de26540e84ccd e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Running etcd 0 1a74126a789fb
c3dfd976bf6f9 e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Running etcdctl 0 1a74126a789fb
086298f0bfea5 e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Exited etcd-resources-copy 0 1a74126a789fb
af2035d503f21 e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Exited etcd-ensure-env-vars 0 1a74126a789fb
VR
да, вот они
master 1
a7b68229403fa e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Running etcd-metrics 0 f89e07c26dcdb
24365eb7fb31b e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Running etcd 0 f89e07c26dcdb
45af9cd71919f e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Running etcdctl 0 f89e07c26dcdb
ab0fd7d838816 e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Exited etcd-resources-copy 0 f89e07c26dcdb
b213384e149ea e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Exited etcd-ensure-env-vars 0 f89e07c26dcdb
master 2
d4157c77c7c39 e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Running etcd-metrics 0 466e3e8c3ef97
ddc31be40a9a1 e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Running etcd 0 466e3e8c3ef97
8d3cdbe26d827 e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Running etcdctl 0 466e3e8c3ef97
b608869c68713 e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Exited etcd-resources-copy 0 466e3e8c3ef97
ea53e538e7a6e e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Exited etcd-ensure-env-vars 0 466e3e8c3ef97
master 3
1ef8faae8b015 e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Running etcd-metrics 0 1a74126a789fb
de26540e84ccd e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Running etcd 0 1a74126a789fb
c3dfd976bf6f9 e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Running etcdctl 0 1a74126a789fb
086298f0bfea5 e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Exited etcd-resources-copy 0 1a74126a789fb
af2035d503f21 e4173c00c5637d22120060e5db94b64bcda77dbf33c013f443faff8bc1ebbe2a 5 days ago Exited etcd-ensure-env-vars 0 1a74126a789fb
ага, они бегут и не рестартуют, это хорошо. А посмотри в логах - они здоровы, нет таймаутов, нет проблем с отказом соединений, сертификатами?
RK
ага, они бегут и не рестартуют, это хорошо. А посмотри в логах - они здоровы, нет таймаутов, нет проблем с отказом соединений, сертификатами?
таймауты есть, как раз тот самый took toolong, о котом упоминалось выше
2020-11-30 11:17:53.183159 W | etcdserver: read-only range request "key:\"/kubernetes.io/secrets/openshift-apiserver/encryption-config-0\" " with result "error:etcdserver: request timed out" took too long (8.277214446s) to execute