Johnsnow
Anmeldungsdatum: 12. Januar 2018
Beiträge: 47
Wohnort: 73108
|
Guten Abend allerseits.
Ich möchte gerne auf meinem künftigen Homeserver aus drei Partitionen die auf 3 unterschiedlichen Festplatten liegen ein Software Raid 5 basteln.
Den restlichen Festplattenplatz möchte ich gerne als normale Laufwerke nutzen.
Kann man das machen? Darf man das machen? Muss ich irgendwas dringend beachten? Bisher läuft hier noch ein Windows mit einem Programm namens Drive Bender. Das Programm fasst meine Festplatten zu einer einelnen Platte zusammen (JBOD)
Außerdem kann man im Programm selbst einzelne Ordner gewichten damit Drive Bender diese Ordner praktisch doppelt aber auf verschiedenen Festplatten ablegt.
Ich fand diese Lösung bisher super gut und die Performanz hat mir auch locker gereicht.
Der Dateimanager sieht nur einen Laufwerksbuchstaben unter Win. Nur zur Erklärung. Falls mein oberes Vorhaben so nicht machbar ist, gäbe es etwas ähnliches wie Drive Bender auch für Linux? schönen Gruß
Martin
|
frostschutz
Anmeldungsdatum: 18. November 2010
Beiträge: 7658
|
"Drive Bender" ähnliches, verrücktes Zeug gibt es indirekt über FUSE (mhddfs, mergerfs, ...). Ich habe mit diesen Lösungen aber keine eigene Erfahrung. Verschieden große Festplatten kannst du durch Partitionierung im RAID nutzen. Der kleinste gemeinsame Nenner ist dann RAID 5 über alle Platten (z.B. 4x 1TB). Mit dem Rest dann weiter so verfahren (z.B. 3x 1TB, 2x 1TB RAID1, 1x 1TB -AID 1). Die größte Festplatte hat dann einen nicht redundanten Rest (bis du mal eine kleine Platte durch eine große ersetzt und so das sda4 noch einen Gegenspieler bekommt). Beispiel /dev/md0 /dev/md1 /dev/md2 /dev/md3
RAID 5 RAID 5 RAID 1 -AID 1
4 TB | -sda1- | -sda2- | -sda3- | -sda4- |
3 TB | -sdb1- | -sdb2- | -sdb3- |
2 TB | -sdc1- | -sdc2- |
1 TB | -sdd1- | mdadm --create /dev/md0 --level=5 --raid-devices=4 /dev/sd{a,b,c,d}1
mdadm --create /dev/md1 --level=5 --raid-devices=3 /dev/sd{a,b,c}2
mdadm --create /dev/md2 --level=1 --raid-devices=2 /dev/sd{a,b}3
mdadm --create /dev/md3 --level=1 --raid-devices=1 --force /dev/sda4 Mit LVM kannst du md0, md1, md2 auch zu einem großen Laufwerk machen dann. md3 sollte extra laufen, solange es nicht redundant ist. Darauf kommen dann eben Daten von geringerer Wichtigkeit. Ich mache auch bei gleich großen Festplatten gerne solche Partitionen. Damit kann man dann große Aktionen (RAID-Grow/Reshape) besser in kleinere Etappen unterteilen. Das einzige was man bei Partitionierungslösungen unbedingt beachten muss... nicht aus Versehen in ein RAID, zwei Partitionen der gleichen physikalischen Festplatte bringen.
|
Johnsnow
(Themenstarter)
Anmeldungsdatum: 12. Januar 2018
Beiträge: 47
Wohnort: 73108
|
Guten Morgen frostschutz und alle Mitlesenden. Sehr schöne Erklärung frostschutz. Vielen Dank dafür. 👍 Ich glaube ich habe verstanden. 💡
Die unteren 4 Zeilen der Infobox sind wohl schon die passenden Befehle zum Raid build für mdadm? Ich muss mir angewöhnen nicht nur die Wikis sondern auch die MANs zu lesen.
Die Klammern sind ja eine sehr schöne Abkürzung. 😎 Im Wiki wird noch die Option "--auto md" in die create Befehlskette mit reingenommen. Die Funktion habe ich aber nicht verstanden und Du machst es auch ohne. Warum? Ich werde wohl die kleine 1TB Platte aus dem System nehmen und nur die drei Platten mit 2,3 und 4 TB drin lassen.
Wäre es im Schadensfall nicht sinnvoller dann nur ein R5 mit 3 x 2TB als /md0 zu haben?
Oder siehst Du Vorteile in zwei gleich großen R5 aus 1TB Partitionen? Wenn ich weiß wie ich die Laufwerke partitioniert habe ist es doch egal, oder? Und der Speicherplatzverlust wird ja eh gleich bleiben wahrscheinlich? Außerdem ist es ja irgendwie komisch erst zwei Raids zu basteln um diese dann mit dem LVM dann wieder zu einem zu machen.
Und bei einem Rebuild nach einem Plattenschaden ist es imho auch übersichtlicher. Darauf folgend kämen dann wie von Dir gezeigt ein /md1 als Raid 1 mit 2x1TB und eben noch ein /md2 als -aid1 aus der letzten verbliebenen Partition. Die größe der Platter der einzelnen Festplatten kann ich ignorieren, oder? Ich weiß, ich kann blöde Fragen stellen... schönen Gruß
Martin
|
frostschutz
Anmeldungsdatum: 18. November 2010
Beiträge: 7658
|
Johnsnow schrieb: Im Wiki wird noch die Option "--auto md" in die create Befehlskette mit reingenommen. Die Funktion habe ich aber nicht verstanden und Du machst es auch ohne. Warum?
Hmmm. Wenn du Ubuntu 8.04 statt 18.04 installierst ist es vielleicht wichtig? $ man mdadm
-a, --auto{=yes,md,mdp,part,p}{NN}
Instruct mdadm how to create the device file
[...]
With mdadm 3.0, [...] this option is unlikely to be needed.
$ mdadm --version
mdadm - v4.0
Ich werde wohl die kleine 1TB Platte aus dem System nehmen und nur die drei Platten mit 2,3 und 4 TB drin lassen.
Wäre es im Schadensfall nicht sinnvoller dann nur ein R5 mit 3 x 2TB als /md0 zu haben?
Oder siehst Du Vorteile in zwei gleich großen R5 aus 1TB Partitionen?
Die meisten Leute machen einfach ein großes RAID, klar. Stattdessen mehrere kleinere, ist eine persönliche Vorliebe von mir. Das hat sich bei mir einfach so ergeben (ursprünglich wegen LUKS auf mehreren Kernen arbeiten lassen, wozu man mehrere LUKS-Container braucht - seit AES-NI nicht mehr relevant). Musst du nicht nachmachen. ☺
Und bei einem Rebuild nach einem Plattenschaden ist es imho auch übersichtlicher.
Ja, übersichtlicher... aber es ist halt so - manchmal geht auch nur ein Teil von einer Platte kaputt. Hatte ich mal, die letzten 10% der Platte waren im Tal des Todes versunken, der Rest lief noch. Bei einem großen RAID verlierst du wegen einem lokalen Defekt auf z.B. 1 GB sofort die Redundanz auf 4 TB (oder mehr, wenn du noch größere Platten hast). Dann haust du ne neue Platte ins System und du hoffst, daß der Rebuild durchgeht. (Wenn du brav warst und deine Festplatten mit smartmontools/smartd überwachst und regelmäßig selftests fährst, hast du da gute Chancen, sonst nicht so gute). Bei einer Partition verlierst du die Redundanz von nur 1TB (oder je nachdem welche Partitionsgröße du so nimmst - bei mir sogar nur 250GB pro Partition). Und dann kann die teildefekte Platte beim Rebuild noch mithelfen (mdadm --replace) und die Erfolgschancen erhöhen sich. Bei immer größer werdenden Platten (ich habe mir gerade eine 8 TB gegönnt) dauert es auch immer länger bis so ein Rebuild abgeschlossen ist. Muss man dazwischen mal Rebooten, geht der Spaß wieder ganz von vorne los. Bei kleineren Partitionen kann ich sagen, okay 1-17 sind fertig und 18-32 kommen morgen dran. Ist für mich einfach ein gutes Gefühl, das alles in kleineren Etappen zu erschlagen. Meine mdadm checks sind dann auch verteilt - eins pro Tag geht, über den Monat verteilt ist man dann komplett. 8TB auf einmal - da ist der Tag oder das Wochenende vorbei. SMART Selftests sind bei mir auch in Etappen (smartctl -t select,cont, https://unix.stackexchange.com/a/92663/30851 ). Bei großen Platten dauert das einfach alles viel zu lang und die Kiste läuft nun mal nicht 24/7. Schaltest du mitten im Check ab, ist der Check unvollständig und damit wertlos, daher mach ich lieber einen kleinen Check täglich statt monatlich einen großen der nie endet. Auch Reshapes sind angenehmer wenn man erstmal nur einen kleinen Teil des Gesamtsystems drauf riskiert, statt alles auf einmal. In MD wurden ja Features eingebaut die ähnliches bewirken sollen ( Bad Block List und Write Intent Bitmap ) aber das funktioniert mehr schlecht als recht. Auf der linux-raid Mailingliste schlagen fast wöchentlich Leute auf, die eine bad block list mit identischen Blocks auf mehreren Platten haben, d.h. das RAID produziert dann Lesefehler und Plattentausch hilft nicht. Und die einzige Lösung ist dann, das mit dem undokumentierten --update=force-no-bbl abzuschalten. Das ist dann irgendwie kontraproduktiv.
Die größe der Platter der einzelnen Festplatten kann ich ignorieren, oder?
Dem Software-RAID ist das wurst, die Performanz zieht sich halt auf den langsamsten runter. Wenn du da extreme Unterschiede hättest (z.B. SSD + HDD) dann könntst du den langsamen Teil auf writemostly stellen (nur bei RAID 1).
|
Johnsnow
(Themenstarter)
Anmeldungsdatum: 12. Januar 2018
Beiträge: 47
Wohnort: 73108
|
Hi frostschutz.
Okay, ich habe verstanden.
Der Server ist installiert. Morgen kommen die Platten wieder dran und dann gehe ich die Sache an.
Ich habs mir verkniffen die Raids während der Server Installation zu erstellen.
Ich werde wie von Dir empfohlen mehrere Raids erstellen. Sehr wahrscheinlich sogar noch unter 1TB pro Partition. Ich hoffe ich verliere den Überblick nicht. Problem gelöst.
Recht herzlichen Dank. Ich melde mich zurück wenn die Kiste läuft.
Wahrscheinlich werde ich noch die eine oder andere Frage haben. Gruß
Martin
|
Johnsnow
(Themenstarter)
Anmeldungsdatum: 12. Januar 2018
Beiträge: 47
Wohnort: 73108
|
So, zurück zu den gewöhnlichen Problemen. Ich erstelle gerade die einzelnen Partitionen (mittels fdisk über ein ssh Terminal)
Das sieht bisher ganz gut aus, nur die Tipperei ist etwas ungewohnt als bisheriger Windows Nutzer 😲 Edit:
Aktueller Stand nach der Korrektur der einzelnen Partitionen: 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52 | root@srv1:/home/administrator# fdisk -l
Medium /dev/sda: 59,6 GiB, 64023257088 Bytes, 125045424 Sektoren
Einheiten: sectors von 1 * 512 = 512 Bytes
Sektorengröße (logisch/physisch): 512 Bytes / 512 Bytes
I/O Größe (minimal/optimal): 512 Bytes / 512 Bytes
Typ der Medienbezeichnung: dos
Medienkennung: 0xb0e49a2e
Gerät Boot Start Ende Sektoren Größe Id Typ
/dev/sda1 * 2048 108843007 108840960 51,9G 83 Linux
/dev/sda2 108845054 125044735 16199682 7,7G 5 Erweiterte
/dev/sda5 108845056 125044735 16199680 7,7G 82 Linux Swap / Solaris
Medium /dev/sdb: 3,7 TiB, 4000787030016 Bytes, 7814037168 Sektoren
Einheiten: sectors von 1 * 512 = 512 Bytes
Sektorengröße (logisch/physisch): 512 Bytes / 4096 Bytes
I/O Größe (minimal/optimal): 4096 Bytes / 4096 Bytes
Typ der Medienbezeichnung: gpt
Medienkennung: 08215235-3369-4C21-9DBF-4FAEEDA44F8F
Gerät Start Ende Sektoren Größe Typ
/dev/sdb1 2048 1887438847 1887436800 900G Linux filesystem
/dev/sdb2 1887438848 3774875647 1887436800 900G Linux filesystem
/dev/sdb3 3774875648 5662312447 1887436800 900G Linux filesystem
/dev/sdb4 5662312448 7549749247 1887436800 900G Linux filesystem
Medium /dev/sdc: 2,7 TiB, 3000592982016 Bytes, 5860533168 Sektoren
Einheiten: sectors von 1 * 512 = 512 Bytes
Sektorengröße (logisch/physisch): 512 Bytes / 4096 Bytes
I/O Größe (minimal/optimal): 4096 Bytes / 4096 Bytes
Typ der Medienbezeichnung: gpt
Medienkennung: 64E9A619-1560-4DBE-9BA7-D464C15B087C
Gerät Start Ende Sektoren Größe Typ
/dev/sdc1 2048 1887438847 1887436800 900G Linux filesystem
/dev/sdc2 1887438848 3774875647 1887436800 900G Linux filesystem
/dev/sdc3 3774875648 5662312447 1887436800 900G Linux filesystem
Medium /dev/sdd: 1,8 TiB, 2000398934016 Bytes, 3907029168 Sektoren
Einheiten: sectors von 1 * 512 = 512 Bytes
Sektorengröße (logisch/physisch): 512 Bytes / 512 Bytes
I/O Größe (minimal/optimal): 512 Bytes / 512 Bytes
Typ der Medienbezeichnung: gpt
Medienkennung: 3B10C0C6-608A-4AD7-8565-7A8CE38FA8B1
Gerät Start Ende Sektoren Größe Typ
/dev/sdd1 2048 1887438847 1887436800 900G Linux filesystem
/dev/sdd2 1887438848 3774875647 1887436800 900G Linux filesystem
|
/edit Meine Frage dazu:
Da steht jetzt nicht ext3 / ext4 oder ähnliches. woran erkenne ich denn was das ist? Und, soll ich die einzelnen Partitionen vor dem Erstellen der Raid Verbände formatieren oder erst danach? schönen Gruß
Martin
|
Johnsnow
(Themenstarter)
Anmeldungsdatum: 12. Januar 2018
Beiträge: 47
Wohnort: 73108
|
Okay, die letzten Fragen dürfen ignoriert werden.
Ich habe die einzelnen Raid Verbände erstellt: 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26 | root@srv1:~# cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md3 : active raid1 sdb4[0]
943587328 blocks super 1.2 [1/1] [U]
bitmap: 8/8 pages [32KB], 65536KB chunk
md2 : active raid1 sdc3[1] sdb3[0]
943587328 blocks super 1.2 [2/2] [UU]
resync=DELAYED
bitmap: 8/8 pages [32KB], 65536KB chunk
md1 : active raid5 sdd2[3] sdc2[1] sdb2[0]
1887174656 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [UU_]
resync=DELAYED
bitmap: 0/8 pages [0KB], 65536KB chunk
md0 : active raid5 sdd1[3] sdc1[1] sdb1[0]
1887174656 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [UU_]
resync=DELAYED
bitmap: 0/8 pages [0KB], 65536KB chunk
md4 : active raid1 sdc4[1] sdb5[0]
94306304 blocks super 1.2 [2/2] [UU]
[=============>.......] resync = 67.5% (63674688/94306304) finish=7.5min speed=67680K/sec
unused devices: <none>
|
Die Prüfung mittels lsblk gibt folgendes aus:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31 | root@srv1:~# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 59,6G 0 disk
├─sda1 8:1 0 51,9G 0 part /
├─sda2 8:2 0 1K 0 part
└─sda5 8:5 0 7,7G 0 part [SWAP]
sdb 8:16 0 3,7T 0 disk
├─sdb1 8:17 0 900G 0 part
│ └─md0 9:0 0 1,8T 0 raid5
├─sdb2 8:18 0 900G 0 part
│ └─md1 9:1 0 1,8T 0 raid5
├─sdb3 8:19 0 900G 0 part
│ └─md2 9:2 0 899,9G 0 raid1
├─sdb4 8:20 0 900G 0 part
│ └─md3 9:3 0 899,9G 0 raid1
└─sdb5 8:21 0 90G 0 part
└─md4 9:4 0 90G 0 raid1
sdc 8:32 0 2,7T 0 disk
├─sdc1 8:33 0 900G 0 part
│ └─md0 9:0 0 1,8T 0 raid5
├─sdc2 8:34 0 900G 0 part
│ └─md1 9:1 0 1,8T 0 raid5
├─sdc3 8:35 0 900G 0 part
│ └─md2 9:2 0 899,9G 0 raid1
└─sdc4 8:36 0 90G 0 part
└─md4 9:4 0 90G 0 raid1
sdd 8:48 0 1,8T 0 disk
├─sdd1 8:49 0 900G 0 part
│ └─md0 9:0 0 1,8T 0 raid5
└─sdd2 8:50 0 900G 0 part
└─md1 9:1 0 1,8T 0 raid5
|
Das sieht für mich mit den unterschiedlichen Partitionsgrößen etwas komisch aus, aber ich probiere jetzt einfach mal ob das funktioniert.
Sobald ich wieder etwas Zeit habe werde ich ein md versuchsweise mounten. Eine Frage habe ich noch:
Ich habe einen SATA Anschluss nach der SSD freigelassen.
Was passiert eigentlich wenn ich in diesen eine Festplatte einstecke? schönen Gruß
Martin
|
frostschutz
Anmeldungsdatum: 18. November 2010
Beiträge: 7658
|
Johnsnow schrieb: Okay, die letzten Fragen dürfen ignoriert werden.
Okay...
Eine Frage habe ich noch:
Ich habe einen SATA Anschluss nach der SSD freigelassen.
Was passiert eigentlich wenn ich in diesen eine Festplatte einstecke?
Dann hast du eine Festplatte mehr im System? Evtl. ändern sich die Laufwerksbuchstaben, aber das kann auch so vorkommen und so lange du überall brav UUID verwendest, funktioniert alles. Die neue Festplatte kannst du dann ebenso partitionieren, mit mdadm --grow deinen RAIDs hinzufügen (wenn du das möchtest), oder auch einfach so benutzen.
|
Johnsnow
(Themenstarter)
Anmeldungsdatum: 12. Januar 2018
Beiträge: 47
Wohnort: 73108
|
frostschutz schrieb: aber das kann auch so vorkommen und so lange du überall brav UUID verwendest, funktioniert alles.
Hm. Wie, überall? Hätte ich die uuids schon beim Raidbuild nutzen müssen/können?
Nee, oder?
Es genügt doch wenn ich die in der fstab mit den uuids eintrage. Oder nicht? Gruß
Martin
|
frostschutz
Anmeldungsdatum: 18. November 2010
Beiträge: 7658
|
Johnsnow schrieb: Wie, überall?
In allen Konfigurationsdateien und bei Kernelparametern (cat /proc/cmdline) muss eben die UUID stehen und nicht /dev/sdb /dev/sdc /dev/sdd Konsolenbefehle sind da nicht mit gemeint, die sind ja flüchtig. Wobei ich die Möglichkeit von GPT nutze, den Partitionen Namen (sichtbar unter /dev/disk/by-partlabel/*) zu verpassen, damit man auch auf der Konsole bei den Laufwerksnamen nicht raten muss. Man darf da nur auf keinen Fall den gleichen Namen zweimal vergeben...
|
Johnsnow
(Themenstarter)
Anmeldungsdatum: 12. Januar 2018
Beiträge: 47
Wohnort: 73108
|
Aha. Ja ich habe bisher nur eine config verhunzt... Wie man Namen vergibt habe ich noch nicht nachgelesen. Das möchte ich auch noch gerne machen.
Ich muss zugeben daß ich mangels Routine noch sehr vorsichtig bin um mir meine Raid Konfiguration nicht kaputtzumachen. Aktuell kämpfe ich noch mit der fstab und dem Mounten der Laufwerke.
Das ist echt krass, keine Angabe bei options, Server bootet nicht mehr und heult rum.
Als das zum ersten Mal passiert ist hat der olle Windowsnutzer in mir einfach den Server neu installiert und erfreut festgestellt daß der Server seine mds noch erkennt. Grade eben habe ich es endlich geschafft die fstab so anzulegen daß eines meiner Raid Laufwerke beim boot gemounted wird.
Ich bin wohl auf dem richtigen Weg. Mittels SSH ist es gottseidank bequem vom Schreibtisch aus etwas zu tun.
Für einen Windows Nutzer ist eine Serverkonfiguration per Kommandozeile schon wie Programmieren 😀 Wir lesen uns sicher nochmal. Ich habe auch noch andere Problemchen zu lösen weil ich nebenbei auch noch an meiner Workstation auf Xubuntu umsteige. schönen Gruß
Martin
|
frostschutz
Anmeldungsdatum: 18. November 2010
Beiträge: 7658
|
Wenn du mit "keine Angabe bei options" meinst, daß du das Feld einfach komplett weggelassen hast, dann kommt der fstab Parser durcheinander. Da kann man dann "defaults" schreiben.
|
Johnsnow
(Themenstarter)
Anmeldungsdatum: 12. Januar 2018
Beiträge: 47
Wohnort: 73108
|
Ja, genau das habe ich gemacht.
leider habe ich jetzt wohl noch ein richtiges Problem.
Nachdem ich jetzt ein Raid5 in die fstab eingebunden und neu gestartet habe kommt folgender Fehler: md/raid:md1: raid level 5 active with 2 out of 3 devices, algorithm 2
md/raid:md0: raid level 5 active with 2 out of 3 devices, algorithm 2 Außerdem meldet die systemd[1]:
Timed out waiting for device dev-disk-by\uuid von md0 fstab:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17 | # /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# bei Konfiguration von srv1 habe ich den 2. 6GSata Anschluß am Board freigelassen. Der letzte 3GSata ist auch frei.
#
# <file system> <mount point> <type> <options> <dump> <pass>
# / was on /dev/sda1 during installation
UUID=63078cef-db2e-46b9-9438-6825e9eccc17 / ext4 errors=remount-ro 0 1
# swap was on /dev/sda5 during installation
UUID=e0b76f4c-778a-4bcd-af13-9bacecc73b1b none swap sw 0 0
#Raid 1 /dev/md4 für Musik mit 90GiB bestehend aus /dev/sdb5 und /dev/sdc4
UUID=66037a47-9fe2-4575-a118-ddc7b4f612bc /media/Musik ext4 defaults 0 0
#Raid 5 /dev/md0 für User mit 2TB bestehend aus /dev/sd(b1-c1-d1)
#UUID="9fc77352-1399-4898-b982-fea99595374b /media/User ext4 defaults 0 0
|
Muss ich zur Trennung der Konfigurationsangaben der fstab einen TAB verwenden oder genügt die Leertaste? Könnte es sein daß ich das Dateisystem falsch eingerichtet habe?
Ich habe die ext4 Dateisysteme mittels dem Befehl sudo mkfs.ext4 -b 4096 -E stride=128,stripe-width=256 /dev/md0 erstellt. Im Wiki steht:
stripe-width - Die Größe eines Datenstreifens, also die Menge an Blöcken, die geschrieben wird, wenn ein voller Chunk auf jedes Laufwerk geschrieben wird. Diese berechnet sich aus (stride-size * Anzahl der effektiv nutzbaren Partitionen). Bei einem RAID 5 über 4 Partitionen ergibt sich beispielsweise (128 * 3) = 384. Details zur Anzahl der effektiv nutzbaren Partitionen finden sich im Abschnitt RAID-Level. Ich habe das so verstanden daß ich effektiv 2 Partitionen nutze und demzufolge auf eine stride-size von 256 komme.
Der im Wiki verlinkte Rechner hat das so auch ausgegeben. Hm ich verstehe das Problem nicht so ganz und muss wieder um Hilfe bitten 😲 schönen Gruß
Martin
|
frostschutz
Anmeldungsdatum: 18. November 2010
Beiträge: 7658
|
Johnsnow schrieb: Nachdem ich jetzt ein Raid5 in die fstab eingebunden und neu gestartet habe kommt folgender Fehler:
md/raid:md1: raid level 5 active with 2 out of 3 devices, algorithm 2
md/raid:md0: raid level 5 active with 2 out of 3 devices, algorithm 2
Hmm, da ist eine Festplatte verschwunden? dmesg? cat /proc/mdstat? mdadm --examine /dev/sd*?
Muss ich zur Trennung der Konfigurationsangaben der fstab einen TAB verwenden oder genügt die Leertaste?
Geht beides. Nur vor dem ersten Wort am Zeilenanfang sollte kein Leerzeichen stehen.
Könnte es sein daß ich das Dateisystem falsch eingerichtet habe?
Die RAID-Meldung oben hat mit dem Dateisystem nichts zu tun. Das stride, stripe sollte mkfs selbst rausfinden wenn du direkt das RAID ohne Zwischenschichten formatierts. Spielt aber auch so keine spürbare Rolle.
|
Johnsnow
(Themenstarter)
Anmeldungsdatum: 12. Januar 2018
Beiträge: 47
Wohnort: 73108
|
demesg - nur die relevanten Teile
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54 | [ 3.240006] md/raid:md0: device sdc1 operational as raid disk 1
[ 3.240014] md/raid:md1: device sdc2 operational as raid disk 1
[ 3.240015] md/raid:md1: device sdb2 operational as raid disk 0
[ 3.240256] md/raid:md1: allocated 3316kB
[ 3.240486] md/raid:md1: raid level 5 active with 2 out of 3 devices, algorithm 2
[ 3.240486] RAID conf printout:
[ 3.240487] --- level:5 rd:3 wd:2
[ 3.240488] disk 0, o:1, dev:sdb2
[ 3.240488] disk 1, o:1, dev:sdc2
[ 3.240489] disk 2, o:1, dev:sdd2
[ 3.241653] created bitmap (8 pages) for device md1
[ 3.243309] md1: bitmap initialized from disk: read 1 pages, set 0 of 14398 bits
[ 3.250797] md/raid:md0: device sdb1 operational as raid disk 0
[ 3.252531] md/raid:md0: allocated 3316kB
[ 3.254079] md/raid:md0: raid level 5 active with 2 out of 3 devices, algorithm 2
[ 3.255621] RAID conf printout:
[ 3.255622] --- level:5 rd:3 wd:2
[ 3.255623] disk 0, o:1, dev:sdb1
[ 3.255625] disk 1, o:1, dev:sdc1
[ 3.255626] disk 2, o:1, dev:sdd1
[ 3.285616] created bitmap (8 pages) for device md0
[ 3.287445] md0: bitmap initialized from disk: read 1 pages, set 0 of 14398 bits
[ 3.412423] md1: detected capacity change from 0 to 1932466847744
[ 3.414093] RAID conf printout:
[ 3.414095] --- level:5 rd:3 wd:2
[ 3.414097] disk 0, o:1, dev:sdb2
[ 3.414099] disk 1, o:1, dev:sdc2
[ 3.414100] disk 2, o:1, dev:sdd2
[ 3.414101] RAID conf printout:
[ 3.414102] --- level:5 rd:3 wd:2
[ 3.414103] disk 0, o:1, dev:sdb2
[ 3.414104] disk 1, o:1, dev:sdc2
[ 3.414105] disk 2, o:1, dev:sdd2
[ 3.414139] md: recovery of RAID array md1
[ 3.415740] md: minimum _guaranteed_ speed: 1000 KB/sec/disk.
[ 3.417322] md: using maximum available idle IO bandwidth (but not more than 200000 KB/sec) for recovery.
[ 3.418934] md: using 128k window, over a total of 943587328k.
[ 3.420538] md: resuming recovery of md1 from checkpoint.
[ 3.452413] md0: detected capacity change from 0 to 1932466847744
[ 3.454077] RAID conf printout:
[ 3.454080] --- level:5 rd:3 wd:2
[ 3.454081] disk 0, o:1, dev:sdb1
[ 3.454083] disk 1, o:1, dev:sdc1
[ 3.454084] disk 2, o:1, dev:sdd1
[ 3.454085] RAID conf printout:
[ 3.454086] --- level:5 rd:3 wd:2
[ 3.454087] disk 0, o:1, dev:sdb1
[ 3.454088] disk 1, o:1, dev:sdc1
[ 3.454089] disk 2, o:1, dev:sdd1
[ 3.454121] md: delaying recovery of md0 until md1 has finished (they share one or more physical units)
[ 4.272426] md: linear personality registered for level -1
[ 4.276757] md: multipath personality registered for level -4
[ 4.280906] md: raid0 personality registered for level 0
[ 4.290256] md: raid10 personality registered for level 10
|
cat /proc/mdstat
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22 | md0 : active raid5 sdc1[1] sdd1[3] sdb1[0]
1887174656 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [UU_]
resync=DELAYED
bitmap: 0/8 pages [0KB], 65536KB chunk
md1 : active raid5 sdc2[1] sdb2[0] sdd2[3]
1887174656 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [UU_]
[==============>......] recovery = 72.6% (685760156/943587328) finish=49.7min speed=86335K/sec
bitmap: 0/8 pages [0KB], 65536KB chunk
md3 : active raid1 sdb4[0]
943587328 blocks super 1.2 [1/1] [U]
bitmap: 0/8 pages [0KB], 65536KB chunk
md4 : active raid1 sdc4[1] sdb5[0]
94306304 blocks super 1.2 [2/2] [UU]
md2 : active raid1 sdc3[1] sdb3[0]
943587328 blocks super 1.2 [2/2] [UU]
bitmap: 0/8 pages [0KB], 65536KB chunk
unused devices: <none>
|
sudo mdadm --examine /dev/sd*
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329 | administrator@srv1:~$ sudo mdadm --examine /dev/sd*
[sudo] password for administrator:
/dev/sda:
MBR Magic : aa55
Partition[0] : 97654784 sectors at 2048 (type 83)
Partition[1] : 27385858 sectors at 97658878 (type 05)
mdadm: No md superblock detected on /dev/sda1.
/dev/sda2:
MBR Magic : aa55
Partition[0] : 27385856 sectors at 2 (type 82)
mdadm: No md superblock detected on /dev/sda5.
/dev/sdb:
MBR Magic : aa55
Partition[0] : 4294967295 sectors at 1 (type ee)
/dev/sdb1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : 6c23218a:0d6c79cc:960a56f6:dda2e0bc
Name : srv1:0 (local to host srv1)
Creation Time : Mon Feb 12 14:49:06 2018
Raid Level : raid5
Raid Devices : 3
Avail Dev Size : 1887174656 (899.88 GiB 966.23 GB)
Array Size : 1887174656 (1799.75 GiB 1932.47 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262056 sectors, after=0 sectors
State : clean
Device UUID : 1651b40c:60d6a8cc:ca96f6dc:86b64a21
Internal Bitmap : 8 sectors from superblock
Update Time : Tue Feb 13 23:10:04 2018
Bad Block Log : 512 entries available at offset 72 sectors
Checksum : 51e0ae91 - correct
Events : 2301
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 0
Array State : AAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdb2:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : 3eb3281b:361deb30:64342bf8:3dbb2a9a
Name : srv1:1 (local to host srv1)
Creation Time : Mon Feb 12 14:51:00 2018
Raid Level : raid5
Raid Devices : 3
Avail Dev Size : 1887174656 (899.88 GiB 966.23 GB)
Array Size : 1887174656 (1799.75 GiB 1932.47 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262056 sectors, after=0 sectors
State : clean
Device UUID : 08f10206:c7eefa04:679f4ec2:e4df00e7
Internal Bitmap : 8 sectors from superblock
Update Time : Tue Feb 13 23:43:40 2018
Bad Block Log : 512 entries available at offset 72 sectors
Checksum : 3282447 - correct
Events : 2021
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 0
Array State : AAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdb3:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : 4570e123:f20a311f:8b24922e:c091b531
Name : srv1:2 (local to host srv1)
Creation Time : Mon Feb 12 14:53:29 2018
Raid Level : raid1
Raid Devices : 2
Avail Dev Size : 1887174656 (899.88 GiB 966.23 GB)
Array Size : 943587328 (899.88 GiB 966.23 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262056 sectors, after=0 sectors
State : clean
Device UUID : 8d4aa518:c572bc2e:210d87ac:d74392e6
Internal Bitmap : 8 sectors from superblock
Update Time : Tue Feb 13 20:30:15 2018
Bad Block Log : 512 entries available at offset 72 sectors
Checksum : ee4216f3 - correct
Events : 2492
Device Role : Active device 0
Array State : AA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdb4:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : f9160022:dca39df2:3738c624:3dd4cf91
Name : srv1:3 (local to host srv1)
Creation Time : Mon Feb 12 14:59:34 2018
Raid Level : raid1
Raid Devices : 1
Avail Dev Size : 1887174656 (899.88 GiB 966.23 GB)
Array Size : 943587328 (899.88 GiB 966.23 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262056 sectors, after=0 sectors
State : clean
Device UUID : 9edbbea5:0effa5b3:9eea7033:e98a41d2
Internal Bitmap : 8 sectors from superblock
Update Time : Mon Feb 12 20:01:29 2018
Bad Block Log : 512 entries available at offset 72 sectors
Checksum : 9ab38f1c - correct
Events : 4
Device Role : Active device 0
Array State : A ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdb5:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 65382e82:5c5c6d51:2bc62cf0:30b030e8
Name : srv1:4 (local to host srv1)
Creation Time : Mon Feb 12 14:44:23 2018
Raid Level : raid1
Raid Devices : 2
Avail Dev Size : 188612608 (89.94 GiB 96.57 GB)
Array Size : 94306304 (89.94 GiB 96.57 GB)
Data Offset : 131072 sectors
Super Offset : 8 sectors
Unused Space : before=130984 sectors, after=0 sectors
State : clean
Device UUID : 13d890f8:ac9237a6:afe53f75:1a754377
Update Time : Tue Feb 13 23:10:50 2018
Bad Block Log : 512 entries available at offset 72 sectors
Checksum : dd33c3a2 - correct
Events : 25
Device Role : Active device 0
Array State : AA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdc:
MBR Magic : aa55
Partition[0] : 4294967295 sectors at 1 (type ee)
/dev/sdc1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : 6c23218a:0d6c79cc:960a56f6:dda2e0bc
Name : srv1:0 (local to host srv1)
Creation Time : Mon Feb 12 14:49:06 2018
Raid Level : raid5
Raid Devices : 3
Avail Dev Size : 1887174656 (899.88 GiB 966.23 GB)
Array Size : 1887174656 (1799.75 GiB 1932.47 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262056 sectors, after=0 sectors
State : clean
Device UUID : c70c38ec:245632bd:b9262557:1286648c
Internal Bitmap : 8 sectors from superblock
Update Time : Tue Feb 13 23:10:04 2018
Bad Block Log : 512 entries available at offset 72 sectors
Checksum : 7364983 - correct
Events : 2301
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 1
Array State : AAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdc2:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : 3eb3281b:361deb30:64342bf8:3dbb2a9a
Name : srv1:1 (local to host srv1)
Creation Time : Mon Feb 12 14:51:00 2018
Raid Level : raid5
Raid Devices : 3
Avail Dev Size : 1887174656 (899.88 GiB 966.23 GB)
Array Size : 1887174656 (1799.75 GiB 1932.47 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262056 sectors, after=0 sectors
State : clean
Device UUID : d49d54ad:da319b0d:1c2db6b2:ea852869
Internal Bitmap : 8 sectors from superblock
Update Time : Tue Feb 13 23:43:40 2018
Bad Block Log : 512 entries available at offset 72 sectors
Checksum : 25a947e2 - correct
Events : 2021
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 1
Array State : AAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdc3:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : 4570e123:f20a311f:8b24922e:c091b531
Name : srv1:2 (local to host srv1)
Creation Time : Mon Feb 12 14:53:29 2018
Raid Level : raid1
Raid Devices : 2
Avail Dev Size : 1887174656 (899.88 GiB 966.23 GB)
Array Size : 943587328 (899.88 GiB 966.23 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262056 sectors, after=0 sectors
State : clean
Device UUID : cf86f6ce:5f27d5a6:96bf3a09:12e9b4f6
Internal Bitmap : 8 sectors from superblock
Update Time : Tue Feb 13 20:30:15 2018
Bad Block Log : 512 entries available at offset 72 sectors
Checksum : 89825f81 - correct
Events : 2492
Device Role : Active device 1
Array State : AA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdc4:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 65382e82:5c5c6d51:2bc62cf0:30b030e8
Name : srv1:4 (local to host srv1)
Creation Time : Mon Feb 12 14:44:23 2018
Raid Level : raid1
Raid Devices : 2
Avail Dev Size : 188612608 (89.94 GiB 96.57 GB)
Array Size : 94306304 (89.94 GiB 96.57 GB)
Data Offset : 131072 sectors
Super Offset : 8 sectors
Unused Space : before=130984 sectors, after=0 sectors
State : clean
Device UUID : 8e225b74:e2cbcce0:fae861cf:9e11760e
Update Time : Tue Feb 13 23:10:50 2018
Bad Block Log : 512 entries available at offset 72 sectors
Checksum : 84e7e723 - correct
Events : 25
Device Role : Active device 1
Array State : AA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdd:
MBR Magic : aa55
Partition[0] : 3907029167 sectors at 1 (type ee)
/dev/sdd1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x3
Array UUID : 6c23218a:0d6c79cc:960a56f6:dda2e0bc
Name : srv1:0 (local to host srv1)
Creation Time : Mon Feb 12 14:49:06 2018
Raid Level : raid5
Raid Devices : 3
Avail Dev Size : 1887174656 (899.88 GiB 966.23 GB)
Array Size : 1887174656 (1799.75 GiB 1932.47 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Recovery Offset : 1020933688 sectors
Unused Space : before=262056 sectors, after=0 sectors
State : clean
Device UUID : 1ad6a9e5:6b691d2b:ef6dbac9:bb057fce
Internal Bitmap : 8 sectors from superblock
Update Time : Tue Feb 13 23:10:04 2018
Bad Block Log : 512 entries available at offset 72 sectors
Checksum : 601d2338 - correct
Events : 2301
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 2
Array State : AAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdd2:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x3
Array UUID : 3eb3281b:361deb30:64342bf8:3dbb2a9a
Name : srv1:1 (local to host srv1)
Creation Time : Mon Feb 12 14:51:00 2018
Raid Level : raid5
Raid Devices : 3
Avail Dev Size : 1887174656 (899.88 GiB 966.23 GB)
Array Size : 1887174656 (1799.75 GiB 1932.47 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Recovery Offset : 1416176752 sectors
Unused Space : before=262056 sectors, after=0 sectors
State : clean
Device UUID : 0773cb21:438d6645:d67f38c4:ce221fea
Internal Bitmap : 8 sectors from superblock
Update Time : Tue Feb 13 23:43:46 2018
Bad Block Log : 512 entries available at offset 72 sectors
Checksum : b8cd8c97 - correct
Events : 2022
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 2
Array State : AAA ('A' == active, '.' == missing, 'R' == replacing)
|
lsblk
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31 | administrator@srv1:~$ lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 59,6G 0 disk
├─sda1 8:1 0 46,6G 0 part /
├─sda2 8:2 0 1K 0 part
└─sda5 8:5 0 13,1G 0 part [SWAP]
sdb 8:16 0 3,7T 0 disk
├─sdb1 8:17 0 900G 0 part
│ └─md0 9:0 0 1,8T 0 raid5
├─sdb2 8:18 0 900G 0 part
│ └─md1 9:1 0 1,8T 0 raid5
├─sdb3 8:19 0 900G 0 part
│ └─md2 9:2 0 899,9G 0 raid1
├─sdb4 8:20 0 900G 0 part
│ └─md3 9:3 0 899,9G 0 raid1
└─sdb5 8:21 0 90G 0 part
└─md4 9:4 0 90G 0 raid1 /media/Musik
sdc 8:32 0 2,7T 0 disk
├─sdc1 8:33 0 900G 0 part
│ └─md0 9:0 0 1,8T 0 raid5
├─sdc2 8:34 0 900G 0 part
│ └─md1 9:1 0 1,8T 0 raid5
├─sdc3 8:35 0 900G 0 part
│ └─md2 9:2 0 899,9G 0 raid1
└─sdc4 8:36 0 90G 0 part
└─md4 9:4 0 90G 0 raid1 /media/Musik
sdd 8:48 0 1,8T 0 disk
├─sdd1 8:49 0 900G 0 part
│ └─md0 9:0 0 1,8T 0 raid5
└─sdd2 8:50 0 900G 0 part
└─md1 9:1 0 1,8T 0 raid5
|
Also die Platten sind da.
Ich hatte genau dieses Problem auch während dem ersten Versuch bevor ich Ahnungsloser den Server neu aufgesetzt habe und als ergebnis jetzt probleme mit SSH habe. Aber das ist ja eine andere Geschichte. schönen Gruß
Martin
|