ceph osd df tree

ceph fs status
——————————-
static - 2 clients
======
RANK  STATE           MDS              ACTIVITY     DNS    INOS  
0    active  static.ceph02.sgpdiv  Reqs:    0 /s   136k   128k  
     POOL         TYPE     USED  AVAIL  
static_metadata  metadata  21.4G     0  
    static        data    5349G     0  
   STANDBY MDS      
static.ceph05.aylgvy  
static.ceph04.wsljnw  
MDS version: ceph version 15.2.3 (d289bbdec69ed7c1f516e0a093594580a76b78d0) octopus (stable)

[ceph: root@ceph01 /]# ceph osd df tree
—————————————————————
ID   CLASS  WEIGHT    REWEIGHT  SIZE      RAW USE  DATA     OMAP     META      AVAIL    %USE   VAR   PGS  STATUS  TYPE NAME      
-1         14.45276         -   800 GiB  647 GiB  642 GiB  1.8 GiB   3.3 GiB  153 GiB      0     0    -          root default  
-3          4.10147         -  1000 GiB  1.4 GiB  195 MiB  426 MiB   840 MiB  999 GiB   0.14  0.01    -              host ceph01
 4    hdd   0.97659   1.00000  1000 GiB  1.4 GiB  195 MiB  426 MiB   840 MiB  999 GiB   0.14  0.01    2      up          osd.4  
 5    hdd   0.78119         0       0 B      0 B      0 B      0 B       0 B      0 B      0     0  102      up          osd.5  
14    hdd   2.34369         0       0 B      0 B      0 B      0 B       0 B      0 B      0     0    0      up          osd.14
-5          1.75778         -  1000 GiB  1.2 GiB  175 MiB  5.6 MiB  1018 MiB  999 GiB   0.12  0.01    -              host ceph02
 3    hdd   0.97659   1.00000  1000 GiB  1.2 GiB  175 MiB  5.6 MiB  1018 MiB  999 GiB   0.12  0.01    1      up          osd.3  
 6    hdd   0.78119         0       0 B      0 B      0 B      0 B       0 B      0 B      0     0  107      up          osd.6  
-7          1.75778         -  1000 GiB  3.2 GiB  275 MiB  1.5 GiB   1.4 GiB  997 GiB   0.32  0.03    -              host ceph03
 7    hdd   0.78119         0       0 B      0 B      0 B      0 B       0 B      0 B      0     0  104      up          osd.7  
10    hdd   0.97659   1.00000  1000 GiB  3.2 GiB  275 MiB  1.5 GiB   1.4 GiB  997 GiB   0.32  0.03    8      up          osd.10
-9          1.75778         -  1000 GiB  2.2 GiB  243 MiB  920 MiB   1.1 GiB  998 GiB   0.22  0.02    -              host ceph04
 9    hdd   0.78119         0       0 B      0 B      0 B      0 B       0 B      0 B      0     0  109      up          osd.9  
11    hdd   0.97659   1.00000  1000 GiB  2.2 GiB  243 MiB  920 MiB   1.1 GiB  998 GiB   0.22  0.02    6      up          osd.11
-11          1.75778         -  1000 GiB  2.3 GiB  231 MiB  912 MiB   1.2 GiB  998 GiB   0.23  0.02    -              host ceph05
 8    hdd   0.78119         0       0 B      0 B      0 B      0 B       0 B      0 B      0     0   91      up          osd.8  
12    hdd   0.97659   1.00000  1000 GiB  2.3 GiB  231 MiB  912 MiB   1.2 GiB  998 GiB   0.23  0.02    6      up          osd.12
-13          1.75778         -  1000 GiB  2.4 GiB  239 MiB  1.0 GiB   1.2 GiB  998 GiB   0.24  0.03    -              host ceph06
 0    hdd   0.78119         0       0 B      0 B      0 B      0 B       0 B      0 B      0     0  120      up          osd.0  
13    hdd   0.97659   1.00000  1000 GiB  2.4 GiB  239 MiB  1.0 GiB   1.2 GiB  998 GiB   0.24  0.03    6      up          osd.13
-15          0.78119         -       0 B      0 B      0 B      0 B       0 B      0 B      0     0    -              host ceph07
 1    hdd   0.78119         0       0 B      0 B      0 B      0 B       0 B      0 B      0     0  103      up          osd.1  
-17          0.78119         -   800 GiB  647 GiB  642 GiB  1.8 GiB   3.3 GiB  153 GiB  80.84  8.34    -              host ceph08
 2    hdd   0.78119   1.00000   800 GiB  647 GiB  642 GiB  1.8 GiB   3.3 GiB  153 GiB  80.84  8.34  102      up          osd.2  
                        TOTAL    14 TiB  5.3 TiB  5.2 TiB   21 GiB    40 GiB  9.2 TiB   9.70                                    
MIN/MAX VAR: 0.01/8.34  STDDEV: 28.29

я многие osd помечены как out, выполняется ребаланс (те которые out 800Gb, новые 1Tb)

Возможно немного ламерский вопрос, но все же
Ceph Octopus, 15.2.4 если конкретно, почему оно при выполнении ceph-volume lvm zap --destroy /dev/sdl или ceph orch device zap ceph-01 /dev/sdl --force автоматически запихивает этот же диск обратно в кластер? О_о

Так-же вроде не должно быть…

Кто знает как выровнять pg

включи плагин balancer

а как это сделать?

а вроде нашел

плагин включился но не работает

Ceph balancer on

кстати, а как балансить осдшки по классам или правилам? дефолтный балансер тут уже не работает, reweight-by-utilization тоже, руками не сильно хочется

Читай там все написано

ткините носом

ребят… где подправить опцию, что бы Ceph автоматически сам в себя диски не пихал? как бы странно этот вопрос ни звучал :D

optimize_result же

у тебя какие-то пг в состоянии unknown, из-за балансер не работает

ща перегружаю

а как их удалить которые unknown