ubuntuusers.de

Hey Leute,

ich habe aus einen RAID1 verbund eine Platte ausgetauscht.

das raid der ersten partition hat auch sofort gesynced und ist online, das zweite fängt den sync aber nicht an sondern zeigt mir ein (S) in dem status:

Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
md0 : active raid1 sdb1[2] sda1[1]
      390132 blocks super 1.2 [2/2] [UU]
      
md1 : active raid1 sdb2[2](S) sda2[1]
      487993208 blocks super 1.2 [2/1] [_U]

dazu kann ich in der doku nix finden, denke aber dass es ein "Spare" ist und nicht als echtes raid array mitgleid genutzt wird?

wie kann ich die dazu bringen zu syncen?

THX

Dann poste doch mal die Ausgaben von folgenden Befehlen:

mdadm -D /dev/md0
mdadm -D /dev/md1
fdisk -l /dev/sda
fdisk -l /dev/sdb

sudo mdadm -D /dev/md0

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

mdadm: must be super-user to perform this action
prae@vmserver:~$ sudo mdadm -D /dev/md0
[sudo] password for prae: 
/dev/md0:
        Version : 1.2
  Creation Time : Fri Jul 13 12:41:14 2012
     Raid Level : raid1
     Array Size : 390132 (381.05 MiB 399.50 MB)
  Used Dev Size : 390132 (381.05 MiB 399.50 MB)
   Raid Devices : 2
  Total Devices : 2
    Persistence : Superblock is persistent

    Update Time : Thu Oct 24 06:34:27 2013
          State : clean 
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

           Name : vmserver:0  (local to host vmserver)
           UUID : baeb3263:c3dd042f:73213026:1ca7d63b
         Events : 648

    Number   Major   Minor   RaidDevice State
       2       8       17        0      active sync   /dev/sdb1
       1       8        1        1      active sync   /dev/sda1

sudo mdadm -D /dev/md1

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

/dev/md1:
        Version : 1.2
  Creation Time : Fri Jul 13 12:41:19 2012
     Raid Level : raid1
     Array Size : 487993208 (465.39 GiB 499.71 GB)
  Used Dev Size : 487993208 (465.39 GiB 499.71 GB)
   Raid Devices : 2
  Total Devices : 2
    Persistence : Superblock is persistent

    Update Time : Thu Oct 24 10:12:59 2013
          State : clean, degraded 
 Active Devices : 1
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 1

           Name : vmserver:1  (local to host vmserver)
           UUID : 074fafaf:0110f48a:50fc152a:1554eea7
         Events : 11985644

    Number   Major   Minor   RaidDevice State
       0       0        0        0      removed
       1       8        2        1      active sync   /dev/sda2

       2       8       18        -      spare   /dev/sdb2

sudo fdisk -l /dev/sda

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

Disk /dev/sda: 500.1 GB, 500107862016 bytes
255 Köpfe, 63 Sektoren/Spur, 60801 Zylinder, zusammen 976773168 Sektoren
Einheiten = Sektoren von 1 × 512 = 512 Bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Festplattenidentifikation: 0x0004235f

   Gerät  boot.     Anfang        Ende     Blöcke   Id  System
/dev/sda1   *        2048      782335      390144   fd  Linux raid autodetect
/dev/sda2          782336   976771071   487994368   fd  Linux raid autodetect

sudo fdisk -l /dev/sdb

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

Disk /dev/sdb: 640.1 GB, 640135028736 bytes
255 Köpfe, 63 Sektoren/Spur, 77825 Zylinder, zusammen 1250263728 Sektoren
Einheiten = Sektoren von 1 × 512 = 512 Bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Festplattenidentifikation: 0x00000000

   Gerät  boot.     Anfang        Ende     Blöcke   Id  System
/dev/sdb1   *          63      979964      489951   83  Linux
/dev/sdb2          979965  1250263727   624641881+  83  Linux

OK es scheint echt ein Hot-Spare zu sein - und der Typ der PArtitionen ist falsch... wie mache ich das jetzt am besten?

Hi und willkommen im Forum.

Ich gehe im folgenden davon aus, dass dein Backup aktuell ist und nicht mit dem Computer verbunden ist und dass du selber die Befehle und Gerätenamen nochmal auf deine Gegebenheiten überprüfst:

sudo mdadm /dev/md0 --remove /dev/sdb1
sudo mdadm /dev/md1 --remove /dev/sdb2
sudo mdadm --zero-superblock /dev/sdb1
sudo mdadm --zero-superblock /dev/sdb2
dd if=/dev/zero of=/dev/sdb bs=1M count=1
sudo sfdisk -d /dev/sda | sfdisk /dev/sdb
sudo sfdisk -R /dev/sdb
sudo mdadm /dev/md0 --add /dev/sdb1
sudo mdadm /dev/md1 --add /dev/sdb2

ist im Prinzip C&P aus dem Wiki, Erklärung dementsprechend dort.

PS: warum hast du eigentlich 2 Raids vom selben Typ auf einer Platte, das bedeutet doch nur doppelten Aufwand in der Verwaltung?

Hi - Danke fürs Willkommen heißen - anhand der langen Anmeldezeit und dem erstmaligen nicht reichen der Wikis sieht man ja dass ich immer erst suche... 😉

den Table header habe ich auch erst so übertragen, allerdings enden dann die Partitionsgrenzen nicht an den.... ääähmm... wie hießen Sie?!? Zylindergrenze oder so...? Daher hatte ich das das nochmal von Hand gemacht....?!?

Die beiden Raids habe ich, da das erste das bootlaufwerk ist und das zweite ein luks device... ich hätte natürlich e auch ein großes mit lvm usw. machen können...

was hälst du denn für den suabersten weg ein vollveschlüsseltes luks raid 1 auf zu bauen?

mr.gosh schrieb:

den Table header habe ich auch erst so übertragen, allerdings enden dann die Partitionsgrenzen nicht an den.... ääähmm... wie hießen Sie?!? Zylindergrenze oder so...?

Wofür brauchst du das?

Daher hatte ich das das nochmal von Hand gemacht....?!?

Dann musst du es aber von Hand richtig machen 😉 obwohl die 640er Platte sicherlich noch keine 4K-Sektoren hat. Einheitlich ist trotzdem Besser.

was hälst du denn für den suabersten weg ein vollveschlüsseltes luks raid 1 auf zu bauen?

Ah, das mit der Verschlüsselung hatte ich überlesen, dann mag das ok sein, man könnte auch das Raiddevice selbst Partitionieren, wird aber eventuell vom Ubuntuinstaller nicht unterstützt.

oben bei deinen befehlen fehlt noch das auf "faulty" setzen, sonst können die nicht hot deplugged werden:

1
2

sudo mdadm --manage /dev/md0 --fail /dev/sdb1
sudo mdadm --manage /dev/md1 --fail /dev/sdb2

Aber eine Frage noch zu dem Raid - wenn ich die Systemplatte mit einem Raid1 machen möchte, wohin installiere ich dann am besten den Grub damit ich stabil von beiden platten booten kann im Falle eines Ausfalls..?

im mbr ist dann aj doof, da landet er ja immer nur auf einer platte...

ok - ich habs jetzt nochmal genau nach Deinen Vorgaben gemacht - und das gleiche ergebnis kommt raus...:

1
2
3
4
5
6
7
8
9

cat /proc/mdstat 
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
md0 : active raid1 sdb1[2] sda1[1]
      390132 blocks super 1.2 [2/2] [UU]
      
md1 : active raid1 sdb2[2](S) sda2[1]
      487993208 blocks super 1.2 [2/1] [_U]
      
unused devices: <none>

der added das immer als hotspare und nicht als neuen mirror... ☹

Sooo... hier http://superuser.com/questions/429776/simple-mdadm-raid-1-not-activating-spare habe ich die ansage gefunden dass das hinzufügen eines devices es nicht automatisch auch synced, sondern nur als hotspare hinzufügt, was genau mein Problem ist...

daher habe ich jetzt mal nach Lesefehlern auf beiden Platten gesucht und bin froh keine gefunden zu haben (trotz vorhandenem Backup):

1
2
3
4
5
6
7
8

sudo smartctl -l selftest /dev/sdb
smartctl 5.41 2011-06-09 r3365 [x86_64-linux-3.2.0-48-generic] (local build)
Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF READ SMART DATA SECTION ===
SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%     26208         -

1
2
3
4
5
6
7
8

sudo smartctl -l selftest /dev/sda
smartctl 5.41 2011-06-09 r3365 [x86_64-linux-3.2.0-48-generic] (local build)                                                                            
Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net                                                                              
                                                                                                                                                        
=== START OF READ SMART DATA SECTION ===                                                                                                                
SMART Self-test log structure revision number 1                                                                                                         
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error                                                         
# 1  Short offline       Completed without error       00%     29647         -

ich traue mich jetzt nicht diesen move mit der dritten Platte zu machen... gibt es keinen "benutze das spare gefälligst als mirror" Befehl...? 😉

mr.gosh schrieb:

Aber eine Frage noch zu dem Raid - wenn ich die Systemplatte mit einem Raid1 machen möchte, wohin installiere ich dann am besten den Grub damit ich stabil von beiden platten booten kann im Falle eines Ausfalls..?

Logischerweise auf sda und sdb, dass solltest du nach dem Nullen von sdb natürlich noch nachholen.

mr.gosh schrieb:

der added das immer als hotspare und nicht als neuen mirror... ☹

Das ist normal, aber eigentlich sollte er dann anfangen es zu Syncen. Eventuell musst du mit dem --add Befehl warten, bis md0 fertig gesynct ist? Ich habe ehrlich gesagt mit mehreren Raids auf einer Platte keine Erfahrungen.

Du kannst mal versuchen mit

sudo mdadm --grow --raid-devices=2 /dev/md1

den Sync anzustoßen.

Eine andere Variante wäre, nach dem remove mit --grow --raid-devices=1 und dann add und raid-devices=2.

PS: Bist du dir Sicher, dass das Laufwerk fehlerfrei arbeitet? dmesg ist OK? SMART und longtest sind ok? Badblocks mit -w ist ok?

stfischr schrieb:

PS: Bist du dir Sicher, dass das Laufwerk fehlerfrei arbeitet? dmesg ist OK? SMART und longtest sind ok? Badblocks mit -w ist ok?

der Longtest läuft gerade... den shorttest habe ich oben gepostet... mal sehen ob dabei was raus kommt...

1
2

sudo mdadm --grow --raid-devices=2 /dev/md1
mdadm: /dev/md1: no change requested

stfischr schrieb:

Du kannst mal versuchen mit

sudo mdadm --grow --raid-devices=2 /dev/md1

den Sync anzustoßen.

Eine andere Variante wäre, nach dem remove mit --grow --raid-devices=1 und dann add und raid-devices=2.

die zweite Variante hat funktioniert! 😊 Also mit folgender Variante wurde der sync angestoßen:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

sudo mdadm -r /dev/md1 /dev/sdb2

sudo mdadm --grow --force --raid-devices=1 /dev/md1

cat /proc/mdstat 
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
md0 : active raid1 sdb1[2] sda1[1]
      390132 blocks super 1.2 [2/2] [UU]
      
md1 : active raid1 sda2[1]
      487993208 blocks super 1.2 [1/1] [U]
      
unused devices: <none>

sudo mdadm /dev/md1 --add /dev/sdb2
mdadm: added /dev/sdb2

cat /proc/mdstat 
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
md0 : active raid1 sdb1[2] sda1[1]
      390132 blocks super 1.2 [2/2] [UU]
      
md1 : active raid1 sdb2[2](S) sda2[1]
      487993208 blocks super 1.2 [1/1] [U]

sudo mdadm --grow --raid-devices=2 /dev/md1
raid_disks for /dev/md1 set to 2
prae@vmserver:~$ cat /proc/mdstat 
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
md0 : active raid1 sdb1[2] sda1[1]
      390132 blocks super 1.2 [2/2] [UU]
      
md1 : active raid1 sdb2[2] sda2[1]
      487993208 blocks super 1.2 [2/1] [U_]
      [>....................]  recovery =  0.0% (142976/487993208) finish=170.5min speed=47658K/sec

ist zwar nicht so gut lesbar, da ich die ausgaben mit drin gelassen habe, so sieht man aber besser was welcher Befehl für einen Status hervorruft...

Schau trotzdem mal in dein dmesg / bzw. messages log obs da nicht noch weitere Probleme mit den Platten gab. Sicher ist sicher...

Das mache ich auf jeden Fall...

Hat denn noch jemand nen vorschlag wie ich das grub-update script dazu bekomme immer in beiden mbrs zu isntallieren? - oder soll ic hdafür besser nen eigenen thread aufmachen?

Nur als NAchtrag - unter Ubuntu 12.04 habe ich jetzt gesehen, dass das grub2 setup script sich in beiden mbrs installiert...