ubuntuusers.de

mdadm performance optimieren

Status: Gelöst | Ubuntu-Version: Server 12.04 (Precise Pangolin)
Antworten |

big_blue

Anmeldungsdatum:
25. April 2006

Beiträge: 29

Hi, ich habe vor längerer Zeit mal ein Software Raid mit ubuntu 10.04 Server erstellt. Ich habe jetzt ein Update auf 12.04 gemacht und die Hardware getauscht. Dabei ist mir aufgefallen, dass die Geschwindigkeit im Raid zwar in Ordnung, aber nicht richtig gut ist. Ich habe dann hier im Forum ein wenig gelesen. Dabei bin ich auf die Datei "/sys/block/md0/md/stripe_cache_size" gestoßen. In dieser Datei wird, wie der Name schon sagt die cache size angegeben. Bei verschiedenen Usern hat das erhebliche Auswirkung auf die Performance gehabt. Ich habe mich dann auf die Suche nach dem File gemacht, doch leider habe ich diese nicht gefunden.

Hier mal meine Infos: Intel I3 mit Ubuntu 12.04 Server 1x 3 TB HDD + 1x 2 TB HDD im Software Raid mit LVM

cat /proc/mdstat

1
2
3
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md127 : active raid1 sda1[1] sdb1[0]
      1953124288 blocks [2/2] [UU]

mdadm.conf

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
# mdadm.conf
#
# Please refer to mdadm.conf(5) for information about this file.
#

# by default (built-in), scan all partitions (/proc/partitions) and all
# containers for MD superblocks. alternatively, specify devices to scan, using
# wildcards if desired.
#DEVICE partitions containers

# auto-create devices with Debian standard permissions
CREATE owner=root group=disk mode=0660 auto=yes

# automatically tag new arrays as belonging to the local system
HOMEHOST <system>

# instruct the monitoring daemon where to send mail alerts
MAILADDR root

# definitions of existing MD arrays
ARRAY /dev/md127 UUID=515997ca:323586de:17d3052a:00c6db8f

# This file was auto-generated on Fri, 25 Jan 2013 19:03:47 +0100
# by mkconf $Id$

ll /sys/block/md127/

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
insgesamt 0
drwxr-xr-x  8 root root    0 Feb  3 15:50 ./
drwxr-xr-x 30 root root    0 Feb  3 15:50 ../
-r--r--r--  1 root root 4096 Feb  4 11:33 alignment_offset
lrwxrwxrwx  1 root root    0 Feb  4 11:33 bdi -> ../../bdi/9:127/
-r--r--r--  1 root root 4096 Feb  4 11:33 capability
-r--r--r--  1 root root 4096 Feb  3 15:50 dev
-r--r--r--  1 root root 4096 Feb  4 11:33 discard_alignment
-r--r--r--  1 root root 4096 Feb  4 11:33 ext_range
drwxr-xr-x  2 root root    0 Feb  4 11:33 holders/
-r--r--r--  1 root root 4096 Feb  4 11:33 inflight
drwxr-xr-x  5 root root    0 Feb  3 15:50 md/
drwxr-xr-x  2 root root    0 Feb  4 11:33 power/
drwxr-xr-x  2 root root    0 Feb  4 11:33 queue/
-r--r--r--  1 root root 4096 Feb  4 11:33 range
-r--r--r--  1 root root 4096 Feb  3 15:50 removable
-r--r--r--  1 root root 4096 Feb  4 11:33 ro
-r--r--r--  1 root root 4096 Feb  4 11:33 size
drwxr-xr-x  2 root root    0 Feb  3 15:50 slaves/
-r--r--r--  1 root root 4096 Feb  4 11:33 stat
lrwxrwxrwx  1 root root    0 Feb  3 15:50 subsystem -> ../../../../class/block/
drwxr-xr-x  2 root root    0 Feb  4 11:33 trace/
-rw-r--r--  1 root root 4096 Feb  3 15:50 uevent

ll /sys/block/md127/md/

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
insgesamt 0
drwxr-xr-x 5 root root    0 Feb  3 15:50 ./
drwxr-xr-x 8 root root    0 Feb  3 15:50 ../
-rw-r--r-- 1 root root 4096 Feb  4 11:33 array_size
-rw-r--r-- 1 root root 4096 Feb  3 15:50 array_state
drwxr-xr-x 2 root root    0 Feb  4 11:33 bitmap/
--w------- 1 root root 4096 Feb  4 11:33 bitmap_set_bits
-rw-r--r-- 1 root root 4096 Feb  4 11:33 chunk_size
-rw-r--r-- 1 root root 4096 Feb  4 11:33 component_size
-r--r--r-- 1 root root 4096 Feb  4 11:33 degraded
drwxr-xr-x 2 root root    0 Feb  3 15:50 dev-sda1/
drwxr-xr-x 2 root root    0 Feb  3 15:50 dev-sdb1/
-rw-r--r-- 1 root root 4096 Feb  4 11:33 layout
-rw-r--r-- 1 root root 4096 Feb  4 11:33 level
-rw-r--r-- 1 root root 4096 Feb  4 11:33 max_read_errors
-rw-r--r-- 1 root root 4096 Feb  3 15:50 metadata_version
-r--r--r-- 1 root root 4096 Feb  4 11:33 mismatch_cnt
--w------- 1 root root 4096 Feb  4 11:33 new_dev
-rw-r--r-- 1 root root 4096 Feb  4 11:33 raid_disks
lrwxrwxrwx 1 root root    0 Feb  4 11:33 rd0 -> dev-sdb1/
lrwxrwxrwx 1 root root    0 Feb  4 11:33 rd1 -> dev-sda1/
-rw-r--r-- 1 root root 4096 Feb  4 11:33 reshape_direction
-rw-r--r-- 1 root root 4096 Feb  4 11:33 reshape_position
-rw-r--r-- 1 root root 4096 Feb  4 11:33 resync_start
-rw-r--r-- 1 root root 4096 Feb  4 11:33 safe_mode_delay
-rw-r--r-- 1 root root 4096 Feb  4 11:33 suspend_hi
-rw-r--r-- 1 root root 4096 Feb  4 11:33 suspend_lo
-rw-r--r-- 1 root root 4096 Feb  4 11:33 sync_action
-r--r--r-- 1 root root 4096 Feb  4 11:33 sync_completed
-rw-r--r-- 1 root root 4096 Feb  4 11:33 sync_force_parallel
-rw-r--r-- 1 root root 4096 Feb  4 11:33 sync_max
-rw-r--r-- 1 root root 4096 Feb  4 11:33 sync_min
-r--r--r-- 1 root root 4096 Feb  4 11:33 sync_speed
-rw-r--r-- 1 root root 4096 Feb  4 11:33 sync_speed_max
-rw-r--r-- 1 root root 4096 Feb  4 11:33 sync_speed_min

Hat einer von Euch eine Ahnung, wo ich das File finde, bzw ob ich das einfach anlegen kann? Ich würde gerne ein wenig mit den Parametern rumspielen, um noch ein wenig performance rauszuholen.

Danke für die Hilfe.

stfischr Team-Icon

Avatar von stfischr

Anmeldungsdatum:
1. März 2007

Beiträge: 19197

Hi.

Der Cache ist nur für Raid5/6 bei Raid1 ist der Cache überflüssig.

Was erwartest du für Geschwindigkeiten und welche bekommst du?

Was gibt

dd if=/dev/sda of=/dev/null bs=32M count=512
dd if=/dev/sdb of=/dev/null bs=32M count=512
dd if=/dev/md127 of=/dev/null bs=32M count=512

Wie sieht die CPU-Last während der dd Befehle aus?

top

big_blue

(Themenstarter)

Anmeldungsdatum:
25. April 2006

Beiträge: 29

Die CPU Belastung steigt nicht über 25%, wobei mir bei dem lesen von dem Raid aufgefallsen ist, dass so gut wie nur eine Platte am lesen ist. Diese wird dann auch "rot" in atop angezeigt.

Ich weiß, es sind nicht beide Platten gleich schnell, aber auf der einen Platte 100% last und bei der andern 0%, dass sieht mir doch nicht so gut aus. Wobei ich nicht weiß, wie zuverlässigt atop da ist.

Hier die Werte:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
/dev/sda
512+0 Datensätze ein
512+0 Datensätze aus
17179869184 Bytes (17 GB) kopiert, 110,539 s, 155 MB/s

/dev/sdb
512+0 Datensätze ein
512+0 Datensätze aus
17179869184 Bytes (17 GB) kopiert, 154,984 s, 111 MB/s

/dev/md
512+0 Datensätze ein
512+0 Datensätze aus
17179869184 Bytes (17 GB) kopiert, 126,114 s, 136 MB/s

stfischr Team-Icon

Avatar von stfischr

Anmeldungsdatum:
1. März 2007

Beiträge: 19197

Ja mehr geht doch gar nicht. Wenn du nur mit einem Thread liest, wird auch nur von einer Platte gleichzeitig gelesen. Wenn du 2 kopiervotgänge startest, sollte es auch schneller gehen.

big_blue

(Themenstarter)

Anmeldungsdatum:
25. April 2006

Beiträge: 29

Ich dachte, er würde gleichzeitig von beiden Platten lesen. Dann hätte die Geschwindigkeit höher sein müssen. Wenn ich ein RAID 5 habe, dann wird aber doch gleichzeitig gelesen, oder?

Danke für die Hilfe.

stfischr Team-Icon

Avatar von stfischr

Anmeldungsdatum:
1. März 2007

Beiträge: 19197

big_blue schrieb:

Wenn ich ein RAID 5 habe, dann wird aber doch gleichzeitig gelesen, oder?

Zwangsläufig, da auf einer Platte nur Teile der Daten liegen.

big_blue

(Themenstarter)

Anmeldungsdatum:
25. April 2006

Beiträge: 29

Ok, dann gebe ich mich geschlagen. Wenn ich mit 2 Threads parallel lese, habe ich auch immer noch eine GEschwindigkeit von über 100MB/s. Somit sollte da zumnindest alles in Ordnung sein.

VIELEN DANK für die Hilfe und für die Erklärungen.

Gruß bb

DerBär

Avatar von DerBär

Anmeldungsdatum:
23. Januar 2019

Beiträge: Zähle...

Hallo zusammen. Das Problem habe ich auch, wie bereits hier: https://forum.ubuntuusers.de/topic/netzwerkperformance-einbruch-nach-wenigen-seku/#post-9045255 beschrieben. Ich denke man kann die Theards verlinken.

Also das Problem konnte ich bis jetzt nicht lösen. Woran kann es liegen? Ich bekomme nicht mehr wie 4MB/s raus.

Vielleicht hat jemand ja eine Idee.

Gruß DerBär

Antworten |