именно на первой ноде

и можно поймать момент когда на первой ноде будет 3 участника кластера, но ни одного с ролью бэкапа

при этом на остальных нодах ничего не меняется

Это сейчас?

да, но это не надолго

Дайте health check ещё раз с каждого из узлов

Ну и вопрос, а что в логах?

в каких именно

Кусок из VMKernel

2020-05-04T12:32:37.545Z cpu19:1403902)CMMDS: CMMDSHeartbeatRequestHBWork:844: Request heartbeat: Retry the operation.
2020-05-04T12:32:37.545Z cpu19:1403902)CMMDS: CMMDSHeartbeatRequestHBWork:844: Request heartbeat: Success.
2020-05-04T12:32:42.545Z cpu19:1403902)CMMDS: MasterCheckNode:7568: Lost contact with 5a96635e-a5c8-c9a0-7fef-901b0eff5f04
2020-05-04T12:32:42.545Z cpu19:1403902)CMMDS: CMMDSHeartbeatCheckHBLogWork:726: Check node returned Failure for node 5a96635e-a5c8-c9a0-7fef-901b0eff5f04 count 10
2020-05-04T12:32:42.545Z cpu19:1403902)CMMDS: CMMDSStateDestroyNode:676: Destroying node 5a96635e-a5c8-c9a0-7fef-901b0eff5f04: Heartbeat timeout
2020-05-04T12:32:42.545Z cpu19:1403902)CMMDS: MasterRemoveNodeFromMembership:6583: Removing node 5a96635e-a5c8-c9a0-7fef-901b0eff5f04 from the cluster membership
2020-05-04T12:32:42.545Z cpu19:1403902)CMMDS: CMMDSUtil_PrintArenaEntry:83: [19982429]:Adding a new Membership entry (b4faaf5e-7826-e096-9ebe-4c52624d2ee6) with 2 members:
2020-05-04T12:32:42.545Z cpu19:1403902)CMMDS: CMMDSUtil_PrintArenaEntry:87: [19982429]:Inserting (actDir:1):u:501fe909-2c0c-442c-05f1-e41f13ed348a o:501fe909-2c0c-442c-05f1-e41f13ed348a r:63 t:SUB_CLUSTER_MEMBERSHIP
2020-05-04T12:32:42.545Z cpu19:1403902)CMMDS: CMMDSUtil_PrintArenaEntry:87: [19982430]:Removing (actDir:1):u:501fe909-2c0c-442c-05f1-e41f13ed348a o:501fe909-2c0c-442c-05f1-e41f13ed348a r:62 t:SUB_CLUSTER_MEMBERSHIP
2020-05-04T12:32:48.545Z cpu19:1403902)CMMDS: MasterSendHeartbeatRequest:1554: Sending a reliable heartbeat request to 5c80b12f-1cc1-e857-ca82-f8f21e26a05c
2020-05-04T12:32:48.545Z cpu19:1403902)CMMDS: CMMDSHeartbeatRequestHBWork:844: Request heartbeat: Retry the operation.
2020-05-04T12:32:48.545Z cpu19:1403902)CMMDS: CMMDSHeartbeatRequestHBWork:844: Request heartbeat: Success.
2020-05-04T12:32:53.545Z cpu19:1403902)CMMDS: MasterCheckNode:7568: Lost contact with 5c80b12f-1cc1-e857-ca82-f8f21e26a05c
2020-05-04T12:32:53.545Z cpu19:1403902)CMMDS: CMMDSHeartbeatCheckHBLogWork:726: Check node returned Failure for node 5c80b12f-1cc1-e857-ca82-f8f21e26a05c count 10
2020-05-04T12:32:53.545Z cpu19:1403902)CMMDS: CMMDSStateDestroyNode:676: Destroying node 5c80b12f-1cc1-e857-ca82-f8f21e26a05c: Heartbeat timeout
2020-05-04T12:32:53.545Z cpu19:1403902)CMMDS: MasterRemoveNodeFromMembership:6583: Removing node 5c80b12f-1cc1-e857-ca82-f8f21e26a05c from the cluster membership
2020-05-04T12:32:53.545Z cpu19:1403902)CMMDS: CMMDSUtil_PrintArenaEntry:83: [19982434]:Adding a new Membership entry (b4faaf5e-7826-e096-9ebe-4c52624d2ee6) with 1 members:
2020-05-04T12:32:53.545Z cpu19:1403902)CMMDS: CMMDSUtil_PrintArenaEntry:87: [19982434]:Inserting (actDir:1):u:501fe909-2c0c-442c-05f1-e41f13ed348a o:501fe909-2c0c-442c-05f1-e41f13ed348a r:64 t:SUB_CLUSTER_MEMBERSHIP
2020-05-04T12:32:53.545Z cpu19:1403902)CMMDS: CMMDSUtil_PrintArenaEntry:87: [19982435]:Removing (actDir:1):u:501fe909-2c0c-442c-05f1-e41f13ed348a o:501fe909-2c0c-442c-05f1-e41f13ed348a r:63 t:SUB_CLUSTER_MEMBERSHIP

Ну, почему-то hearbeat не проходят, судя по всему. Сеть нормально работает?

да, работает

млять, поменял MTU с 9000 на 1500 на vsan vmk и кластер собрался ...

час назад намекнул на это 🙂

@KulikovNikolay СПАСИБО!!!

это первое что нужно проверять