Backplane - Linux - Redmine by JustNet.pl

Spis treści
Wstęp
Backplane
MDADM
- Odtwarzanie uszkodzonej, foulty, degreeded array

Wstęp¶

Poniżej zapisze w formie notatki kilka spostrzeżeń z pracy z backplane na linux.

Backplane¶

Organizacja nazewnictwa dysków¶

Operując dyskami najlepiej używać jako podstawowego nazewnictwa danych z /dev/disk/by-path/ numeracja dysków jest tam niezmienna po reboot i powiązana z expanderem. W zależności od użytego expandera numeracja będzie miała różna postać, ale wygląda jak poniżej poniżej

Mamy tutaj dwa kontrolery SAS:

exp0x56c92bf0005275ff, podpięte jest 12 dysków od phy12 do phy23
exp0x56c92bf000546bff, podpięte 8 dysków na dwóch z trzech półek:
1. półka 1 phy12, phy12, phy14, phy15,
2. półka 2: pusta zostawiona aby wentylacja dla dysków była lepsza
3. półka 3: phy20, phy21, phy22, phy23

Jak widać przynajmniej na tych expanderach w backplane numeracja dysków jest ładnie zachowana.

lrwxrwxrwx 1 root root 10 Jul 29 12:50 pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy12-lun-0-part1 -> ../../sdj1
lrwxrwxrwx 1 root root 10 Jul 29 12:50 pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy13-lun-0-part1 -> ../../sdk1
lrwxrwxrwx 1 root root 10 Jul 29 12:50 pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy14-lun-0-part1 -> ../../sdi1
lrwxrwxrwx 1 root root 10 Jul 29 12:50 pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy15-lun-0-part1 -> ../../sdl1
lrwxrwxrwx 1 root root 10 Jul 29 12:50 pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy16-lun-0-part1 -> ../../sdo1
lrwxrwxrwx 1 root root 10 Jul 29 12:51 pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy17-lun-0-part1 -> ../../sdb1
lrwxrwxrwx 1 root root 10 Jul 29 12:50 pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy18-lun-0-part1 -> ../../sdm1
lrwxrwxrwx 1 root root 10 Jul 29 13:26 pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy19-lun-0-part1 -> ../../sdr1
lrwxrwxrwx 1 root root 10 Jul 29 12:50 pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy20-lun-0-part1 -> ../../sdp1
lrwxrwxrwx 1 root root 10 Jul 29 12:50 pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy21-lun-0-part1 -> ../../sdt1
lrwxrwxrwx 1 root root 10 Jul 29 12:50 pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy22-lun-0-part1 -> ../../sdu1
lrwxrwxrwx 1 root root 10 Jul 29 12:50 pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy23-lun-0-part1 -> ../../sdw1
lrwxrwxrwx 1 root root 10 Jul 29 12:50 pci-0000:08:00.0-sas-exp0x56c92bf000546bff-phy12-lun-0-part1 -> ../../sda1
lrwxrwxrwx 1 root root 10 Jul 29 12:50 pci-0000:08:00.0-sas-exp0x56c92bf000546bff-phy13-lun-0-part1 -> ../../sdc1
lrwxrwxrwx 1 root root 10 Jul 29 12:50 pci-0000:08:00.0-sas-exp0x56c92bf000546bff-phy14-lun-0-part1 -> ../../sdd1
lrwxrwxrwx 1 root root 10 Jul 29 12:51 pci-0000:08:00.0-sas-exp0x56c92bf000546bff-phy15-lun-0-part1 -> ../../sdn1
lrwxrwxrwx 1 root root 10 Jul 29 12:50 pci-0000:08:00.0-sas-exp0x56c92bf000546bff-phy20-lun-0-part1 -> ../../sdh1
lrwxrwxrwx 1 root root 10 Jul 29 14:08 pci-0000:08:00.0-sas-exp0x56c92bf000546bff-phy21-lun-0-part1 -> ../../sdf1
lrwxrwxrwx 1 root root 10 Jul 29 14:24 pci-0000:08:00.0-sas-exp0x56c92bf000546bff-phy22-lun-0-part1 -> ../../sde1
lrwxrwxrwx 1 root root 10 Jul 29 14:38 pci-0000:08:00.0-sas-exp0x56c92bf000546bff-phy23-lun-0-part1 -> ../../sdx1

Zarządzanie dyskami¶

Odłączanie dysków celem wymiany Pokaż Ukryj

Przed fizycznym wyłączeniem dysku najlepiej go zlokalizować i wykonać spin-down

ledctl locate=/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy13-lun-0

hdparm -Y /dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy13-lun-0

Optymalizacja dysków i kontrolera - test¶

Hard Drive timeout vs Kernel timeout¶

Poniżej skrypt ustawiający Error recovery control dla dysków SAS Pokaż Ukryj

for drive in `ls /dev/disk/by-path/|grep sas|grep -v part1|xargs`; do \
 smartctl -l scterc,70,70 /dev/disk/by-path/${drive}; \ 
 smartctl -i /dev/disk/by-path/${drive} | egrep "(Device Model|Product:)"; \
 blockdev --setra 1024 /dev/disk/by-path/${drive}; \
done

for drive in `ls -l -H /dev/disk/by-path/|grep sas|grep -v part1|cut -d'/' -f 3|xargs`; do \
 echo 30 >  /sys/block/${drive}/device/timeout;
done

for scsi_device in /sys/bus/scsi/devices/*/eh_timeout ; do echo 20 > $scsi_device ; done

Źródła:

https://raid.wiki.kernel.org/index.php/Timeout_Mismatch

MDADM¶

MDADM, w przypadku problemów z uszkodzoną macierzą ważne jest aby przy dowolnych pracach zachować oryginalna kolejność dysków. Niestety nazewnictwo /dev/sda, /dev/sdb, ... /dev/sdaa itd. zmienia się wraz z restartami systemy, restartem dysku, wymianą dysku itp. numeracjami odwzorowanie kolejności dysków jest albo bardzo trudne, albo totalnie nie możliwe. Z pomocą przychodzi tutaj opisana wyżej numeracja z /dev/disk/by-path/
W sytuacji gdzie nie znamy numeracji można numer dysku w macierzy odczytać mdadm -E /dev/sdx mdadm -E /dev/sdx

Informacja o numerze dysku w macierzy znajduję sie w przedostatniej linii Device Role : Active device 4 czyli jest to urządzenie 4 (numeracje zaczynany od 0).

mdadm -E /dev/sdj1
/dev/sdj1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : c2619f91:c465a91b:58183093:155d9e48
           Name : backup:card1pport1chassis1
  Creation Time : Sun Apr 28 11:47:43 2024
     Raid Level : raid6
   Raid Devices : 12

 Avail Dev Size : 31251490816 sectors (14.55 TiB 16.00 TB)
     Array Size : 156257454080 KiB (145.53 TiB 160.01 TB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264104 sectors, after=0 sectors
          State : clean
    Device UUID : 8fdca9fa:b913c82e:ad13547c:7e8fd8f3

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Jul 29 13:34:01 2024
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 6aa9d1a8 - correct
         Events : 176328

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 4
   Array State : AAAAAAAAAAAA ('A' == active, '.' == missing, 'R' == replacing)

Odtwarzanie uszkodzonej, foulty, degreeded array¶

mdadm /dev/md127 --re-add¶

Po uszkodzeniu macierzy w sytuacji w której mamy dostęp do dysków np. dyski tylko się rozłączyły najlepiej wykonać ich ponowne dodanie, tutaj kolejność nie ma znaczenia

mdadm /dev/md127 --re-add /dev/sdx1 /dev/sdp1

Jeśli dane na macierzy nie zmieniły się to w przypadku szybkiego dodania dysków nawet nie jest potrzebna ponowna synchronizacja RAID
Powyższe ma zastosowanie również w sytuacji w której znikło więcej niż dopuszczalna liczba dysków i macierz się zatrzymała.

mdadm --assemble --force /dev/md127¶

Jeśli mdadm nie pozwala na ponownie dodanie dysków do macierzy np. można wykonać mdadm --assemble --force /dev/md127 /dev/sda /dev/sdb

Poniżej przykład dysków ułożonych w kolejności zgodniej z raid device number, jak widać kolejność dysków nie jest zgodna z kolejnością phy co utrudnia zarządzanie macierzą. (kolejność nie ma znaczenia dla assemble ale ma dla create)

mdadm --assemble --force /dev/md127 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy19-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy14-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy15-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy22-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy12-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy21-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy23-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy17-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy16-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy13-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy18-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy20-lun-0-part1

mdadm --force --assume-clean¶

Gdy --force nie pozwala nam na złożenie macierzy zostaje nam już tylko odtworzenie macierzy przy użyciu mdadm --create /dev/md127 --level=6 --raid-devices=12 --force --assume-clean

UWAGA: Należy zachować oryginalną kolejność dysków inaczej z macierzy nie odczytamy plików, ewentualnie będą one uszkodzone.

mdadm --create /dev/md127 --level=6 --raid-devices=12 --force --assume-clean \

/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy19-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy14-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy15-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy22-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy12-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy21-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy23-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy17-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy16-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy13-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy18-lun-0-part1 \
/dev/disk//by-path/pci-0000:08:00.0-sas-exp0x56c92bf0005275ff-phy20-lun-0-part1

Materiały zewnętrzne do zapoznania się¶

Przydatne linki:

Pliki (0)

Projekt

Ogólne

Profil

Public » Linux

Wiki