EPOS
Anmeldungsdatum: 14. April 2017
Beiträge: Zähle...
|
Hallo zusammen,
ich baue mir 2 Local-Fileserver, wobei einer nur als Backup dient.
Laufen werden beide mit "ubuntu-16.04.2-server-amd64", "webmin_1.831" und "serverview-raid-manager_5.8-13" für die Fernwartung. Hardware, je 2x:
- Supermicro X11SBA-LN4F
- FUJITSU RAID Controller SAS 6Gbit/s 1GB (D3116)
- je 8x WD RED 3TB im Raid6 (1 verschlüsseltes LVM-Volume) Das Setup wurde vorab auf dem Notebook getestet, ohne Raid-Partition versteht sich.
Soweit so gut... meine Frage zum Setup ist daher noch: 1. Serverinstallation auf der RAID-Partition oder auf eine extra SSD? Was spricht dafür oder dagegen? Schwerpunkt ist Sicherheit und Verfügbarkeit... Ich würde mich über aussagekräftige Antworten sehr freuen. Grüße
|
frostschutz
Anmeldungsdatum: 18. November 2010
Beiträge: 7657
|
Kannst du so halten wie du lustig bist. Ich hatte mal ein NAS, da war das System auf USB Stick. Wenn ein Systemupdate o.ä. zu machen war, konnte man den Stick abziehen, am PC einstecken, dort in einer VM booten, alles einstellen, VM runterfahren, abziehen, und zurück ins NAS damit. Da das NAS selber keine Tastatur/Monitor hatte war das so halbwegs ganz praktisch. Festplatten waren dann eben das RAID mit Nutzdaten. Natürlich kann man auch aufs RAID installieren. Das einzige was dann schwieriger wird ist Festplatten in den Standby schicken. Ein System produziert immer irgendwelche Logmeldungen oder was auch immer und hält damit das ganze RAID wach.
|
encbladexp
Ehemaliger
Anmeldungsdatum: 16. Februar 2007
Beiträge: 17448
|
EPOS schrieb: Hallo zusammen,
ich baue mir 2 Local-Fileserver, wobei einer nur als Backup dient.
Laufen werden beide mit "ubuntu-16.04.2-server-amd64", "webmin_1.831" und "serverview-raid-manager_5.8-13" für die Fernwartung.
Bitte streiche Webmin und den Serverview-RAID-Manager von der Liste, alles was benötigt ist läuft bei Ubuntu mit den internen normalen Tools. Weitere Abstraktionsebenen erzeugen nur weitere Probleme wenn man welche hat.
Hardware, je 2x:
- Supermicro X11SBA-LN4F
- FUJITSU RAID Controller SAS 6Gbit/s 1GB (D3116)
- je 8x WD RED 3TB im Raid6 (1 verschlüsseltes LVM-Volume)
Willst du den Hardware RAID Controller nehmen? Oder lieber ein Linux SoftwareRAID? Was für Daten liegen auf dem RAID? Ist eventuell btrfs oder ZFS eine bessere Option (z.B. Deduplication, Snapshots, Bit Rot Protection) bei deiner Datenmenge und den verwendeten Daten? Warum ein verschlüsseltes LVM Volume, dann kann man sich auch LVM sparen…
1. Serverinstallation auf der RAID-Partition oder auf eine extra SSD?
Ich installiere mittlerweile oft das Betriebssystem auf eine kleine SSD, geht die kaputt kann man dies ja fix wiederherstellen. Größere Datenmengen aus dem Backup wiederherzustellen dauert oft wesentlich länger.
Was spricht dafür oder dagegen? Schwerpunkt ist Sicherheit und Verfügbarkeit...
In welchem Kontext? Privat? Beruflich? Kleine Firma? mfg Stefan
|
EPOS
(Themenstarter)
Anmeldungsdatum: 14. April 2017
Beiträge: 46
|
@frostschutz: Generell schicke ich Festplatten auf einen Server nicht mehr in den Standby, aktuell mit dem "C236 Chipsatz" auch nicht möglich. Aber auch wenn, mit dem "Supermicro X11SBA-LN4F" würde ich es genauso machen. Jeder hat seine Theorie dazu, ich behaupte einfach mal das Festplatten im Dauerlauf länger laufen. Auch der Kostenfaktor ist überschaubar. Mit 4Watt je Platte kommt man auf (34,94 kWh = 8,30 € x 8HDDs) 66,40€ pro Jahr. @encbladexp: Persönlich sehe ich in Webmin kein Problem. User anlegen und Dateifreigaben erstellen funktioniert in der aktuellen Version fehlerfrei (siehe editierte Dateien) und dient ansonsten bei mir rein zur Übersicht. Die vergangenen Probleme sind auch an mir nicht spurlos vorbeigegangen und ich kann daher den Schritt verstehen, dies aus dem Depot zu entfernen. Auch Ubuntu ist nicht zu 100% fehlerfrei, gerade wenn man sich neue Updates installiert kommt es auch gerne mal zu Problemen. Wie in allen Systemen gilt es sich Backups vor der Veränderung zu machen und zu überlegen, ob man das Update überhaupt braucht. Auch Gnome und KDE machen gerne mal Probleme, somit auch keine Alternative da es mir auch zu Systemlastig ist. Was bleibt ist die Befehlszeile, aber auch hier gilt dass sie nicht sehr übersichtlich ist und auch gerne mal was vergessen wird, der Fehler sitzt somit auch davor. Wie Du siehst findet man in allem recht einfach einen Fehler. ☺ Was das Raid betrifft, so ist ein Software-Raid in der Konstellation nicht mehr empfohlen. Das größte Problem ist schon mal ein effizientes Board zu finden das 9-10 Sata Anschlüsse hat. Da es nicht bootfähig ist muss bei 8HDDs ein 9ter Anschluss OnBoard vorhanden sein. Das Mischen von 2 verschiedenen SATA-Controller (Erweiterungskarte) und die Vielzahl an fehlerhaften Faktoren wie Treiber usw; so ist meist ein Super-GAU vorprogrammiert. Ich behaupte nicht, dass es nicht funktionieren kann, die Fehlerquote liegt aber beim Software-Raid in dem Fall entscheidend höher. Eine Alternative zum "Serverview-Raid-Manager" gibt es nach meiner Erkenntnis nicht, bitte um Berichtigung wenn ich falsch liege.
Klar, um ein Raid zu erstellen benötigt man den Manager nicht. Für die Überwachung und Benachrichtigung bei Störungen/Ausfällen ist er aber soweit mir bekannt im Hardware-Raid alternativlos. Mir ist keine Distribution bekannt die hier eine ordentliche Unterstützung bietet. Das System/RAID ohne Benachrichtigung sich selbst zu überlassen entspricht keiner sauberen Administration, da dürften wir uns alle einig sein!? 👍 Zu meiner eigentlichen Frage: Serverinstallation auf der RAID-Partition oder auf eine extra SSD?
Ist die SSD nicht überflüssig rein für das OS? Einmal geladen ist das System größtenteils im Arbeitsspeicher, fällt die eine SSD aus muss gleich das ganze System neu installiert und eingerichtet werden. Sollte das Raid6 nach 3 gleichzeitigen HDD-Ausfällen zerstört sein ist immer noch ein Backupserver in der gleichen Konfiguration vorhanden. Wenn eine HDD ausfällt muss ohnehin das Raid sich selbst wieder reparieren, spielt es eine Rolle ob dann das OS auch mit darauf installiert ist? Kurz geschrieben, wird die einzelne SSD nicht eher zum Problem? Im Kontext, die Rack-Server werden im Keller im privaten Umfeld eingesetzt. Der Backup-Server sollte untouch sein, daher keine Automatisierung vorgesehen. Eine Verschlüsselung auf Fileservern sehe ich für jeden Fall als selbstverständlich an, der Dateityp spielt daher keine Rolle. mfg Epos
|
encbladexp
Ehemaliger
Anmeldungsdatum: 16. Februar 2007
Beiträge: 17448
|
EPOS schrieb: Was das Raid betrifft, so ist ein Software-Raid in der Konstellation nicht mehr empfohlen.
Ich rate daher generell zur Verwendung von Sofware RAID, weil man da die Platten einfach ausbauen und bei einem anderen Controller / Hersteller auch wieder in Betrieb kommt. Hat z.B. ein HP RAID Controller die Platten mal unter Kontrolle gehabt, ist es unwahrscheinlich das ein IBM Controller damit was anfangen kann. Linux Software RAID ist 0815 Standard.
Ich behaupte nicht, dass es nicht funktionieren kann, die Fehlerquote liegt aber beim Software-Raid in dem Fall entscheidend höher.
Ich habe da oft positive Erfahrungen gemacht. Es steht dir natürlich frei zu machen was du für richtig hälst oder womit du bessere Erfahrungen gemacht hast.
Eine Alternative zum "Serverview-Raid-Manager" gibt es nach meiner Erkenntnis nicht, bitte um Berichtigung wenn ich falsch liege.
Linux Software RAID wird per mdadm geprüft (checkarray) und schickt dir eine Mail raus.
Zu meiner eigentlichen Frage: Serverinstallation auf der RAID-Partition oder auf eine extra SSD?
Kann man machen wie man will.
Ist die SSD nicht überflüssig rein für das OS?...
Das versterben der Systemplatte ist relativ selten, ist in der Regel auch nur wenig Schreiblast (von Logfiles und Upgrades abgesehen) vorhanden. Mach dir bei deiner Datenmenge aber echt nochmal Gedanken wegen btrfs (eher nicht, da du was anderes als RAID1 willst) oder ZFS. Insbesondere das Write Hole und Bit Rots kann man so gut umgehen, was bei größeren Datenmengen ja mehr und mehr zu einem Problem wird. Gleichzeitig geht bei der geplanten Datenmenge der Rebuild deutlich schneller / effektiver. Daher auch die Frage nach den Datentypen, VM Images und Datenbanken skalieren auf einem COW Dateisystem nur überschaubar gut. mfg Stefan
|
frostschutz
Anmeldungsdatum: 18. November 2010
Beiträge: 7657
|
Bei mir läuft das alles auf 0815. Mainboard? Billigteil um 50€. Nicht genug SATA-Ports? 2xSATA PCIe-Karte um 10€. 1 SSD, 7 Festplatten (Greens), Software-RAID, Standby, kein Problem. Mainboard um 250€ und HW-RAID-Controller um nochmal soviel Geld: sehe ich für mich genau 0 Mehrwert drin, eher im Gegenteil. Sind eben komplett unterschiedliche Ansprüche/Erwartungen.
Eine Alternative zum "Serverview-Raid-Manager" gibt es nach meiner Erkenntnis nicht, bitte um Berichtigung wenn ich falsch liege. Klar, um ein Raid zu erstellen benötigt man den Manager nicht. Für die Überwachung und Benachrichtigung bei Störungen/Ausfällen ist er aber soweit mir bekannt im Hardware-Raid alternativlos. Mir ist keine Distribution bekannt die hier eine ordentliche Unterstützung bietet. Das System/RAID ohne Benachrichtigung sich selbst zu überlassen entspricht keiner sauberen Administration, da dürften wir uns alle einig sein!?
Vom Serverview-Raidmanager habe ich noch nie was gehört, aber das Monitoring ist das allerwichtigste am RAID überhaupt. Ohne regelmäßige SMART-Selbsttests, und ohne Festplattentausch beim ersten defekten Sektor, geht dir jedes RAID ein. Ohne Monitoring fallen Fehler erst beim Rebuild auf und dann ist es schon zu spät.
|
EPOS
(Themenstarter)
Anmeldungsdatum: 14. April 2017
Beiträge: 46
|
Erst mal Danke für eure Antworten und Meinungen die nicht haltlos sind. Durchaus sollte man darüber nachdenken. Aktuell habe ich einen Rack-Server mit Supermicro-X11SSM mit Celeron G3900 und Fujisu 3116C Raid-Controller mit WinServer2008R2.
Die Performance ist dementsprechend hoch, gut 900Mb/s (8HDD im Raid6) wären bei 10Gbit ein Traum. Durch die Anregung werde ich mir mal den Backup-Server zum Testen einrichten, mehr als wie ein normaler Controller wäre max. nicht zu investieren.
Die Frage ist nur, welches Board mit CPU? Mein aktuelles X11SSM hätte 8SATA-Ports und der Intel-G3900 ist ausreichend gut, aber mit 51Watt TDP wäre noch immer nach unten was zu machen. Für einen Fileserver wäre das Board X11SBA-LN4F mit N3700 und 6Watt/TDP hervorragend geeignet, incl. Hardwareverschlüsselung. Auf was ich nicht verzichten möchte ist IPMI (Mainboard) und einer insgesamt niedrigen TDP. Welcher SATA Controller? z.B. ein InLine 76617G 8 Port PCIe 2.0 x1 retail hätte 5Gb/s, bei 8 Platten wären das ca. 50MB/s richtig? Hm, wie würde eure kostengünstige und performante Zusammenstellung aussehen?
|
encbladexp
Ehemaliger
Anmeldungsdatum: 16. Februar 2007
Beiträge: 17448
|
Der RAID Controller sollte im Idealfall schneller als PCIe x1 angebunden sein, relevant ist auch weniger der Hersteller sondern vielmehr was für Chipsatz darauf verbaut ist. Beachte bei der TDP von CPUs das dies die spezifizierte maximale Abwärme ist, wenn der im Leerlauf ist (was bei nem Server daheim der Standard ist) braucht der deutlich weniger Energie 😉 10 GBit/s Ethernet für Privat? Ernsthaft? Du hast nach wie vor nicht beantwortet was für Daten du überhaupt speicherst… 😉 mfg Stefan
|
EPOS
(Themenstarter)
Anmeldungsdatum: 14. April 2017
Beiträge: 46
|
10 GBit/s Ethernet für Privat? Jepp, darüber werden 3 Server verbunden, das Clientnetz selbst bleibt erst mal noch auf 1GBit/s. Mit dem X11SBA-LN4F hätte ich mich auf max 4x1GBit/s (LAN-Kopplung/Switch) beschränken müssen, was ja auch noch ordentlich ist. Die Daten selbst sind gemischt, von "txt" Dateien bis "mkv" von 1kb bis 30GB. Welcher Chipsatz? Genau das ist meine Frage, welcher Controller... wenn ich bei "Broadcom (LSI)" schau gehen die auch bei 200€ los. Also keine Alternative. Das mit der TDP und dem Leerlauf ist mir schon klar, nur auch ein 25Watt CPU kommt im Leerlauf nicht auf die max. 6Watt vom N3700, daher sparsamer in jeder Lage. 😉
|
encbladexp
Ehemaliger
Anmeldungsdatum: 16. Februar 2007
Beiträge: 17448
|
Beachte bei SATA Controllern bitte das diese eben nicht mit PCI x1 angebunden sind, das ist sonst nämlich ein recht hässlicher Flaschenhals. Der von dir erwähnte Fujitsu Controller hat PCIe x8 wenn ich das richtig sehe. Kann der Platten auch einfach durchreichen (ich kenne das Produkt nicht)? Hintergrund: ZFS/btrfs liebt es direkten Zugriff auf die Platten zu haben. Wenn dir das Argument "Platten müssen auch in anderer Kiste ohne Aufwand laufen" nicht so wichtig ist kannst du übrigens auch einfach dein Hardware RAID nehmen, mit erwähntem Risiko. Wenn dein aktuelles Board eh schon 8 SATA Ports hat, und du nicht mehr brauchst, dann kannst du doch auch einfach die nehmen 😉 mfg Stefan
|
EPOS
(Themenstarter)
Anmeldungsdatum: 14. April 2017
Beiträge: 46
|
Ob der 3116C das direkt durchreichen kann um dann ein Softwareraid zu erstellen weiss auch nicht. Auf die Idee bin ich auch noch nicht gekommen, denn welchen Sinn hätte dann der Raid-Controller noch? 😬 http://www.fujitsu.com/de/products/computing/servers/primergy/components/pmod-122345.html Und genau da ist das Problem, denn die wo schneller angebunden sind und einen ordentlichen Chipsatz haben kosten fast genauso viel. Man könnte noch alles auf 2-4 Controller aufteilen, was aber auch nicht wirklich die Kosten senken würde. Wie man sieht, das mit dem SATA-Controller und 8HDD ist aus dem Resümee herraus keine wirklich gute Lösung. Was bleibt ist entweder der Raid-Controller 3116 für ca.250€ oder eben nur ein weiteres X11SSM-Board ca. 190€ mit 8SATA direkt darauf.
Ich glaube letzteres testen zu wollen, sollte das Software-Raid nicht meine Erwartungen erfüllen kann ich immer noch aufstocken. Im Eigentlichen, so sehe ich keinen Vorteil Ubuntu auf einer extra SSD zu installieren, eher sogar Nachteile. Erst mal vielen Dank dazu. 👍
|
EPOS
(Themenstarter)
Anmeldungsdatum: 14. April 2017
Beiträge: 46
|
Zurückziehen muss ich meine Aussage, dass vom Software-Raid nicht gebootet werden kann. Grub2 und andere Setups erlauben dies nun doch. Ich werde das mit dem zweiten X11SSM-Board (bestellt) mal versuchen, wäre Klasse wenn ich mir den Controller sparen könnte. Die Anbindung des C236 ist mit seinen 4 SATA-Channel ~ 2000MB/s (Chipset) auch mehr als ausreichend. 👍
|
encbladexp
Ehemaliger
Anmeldungsdatum: 16. Februar 2007
Beiträge: 17448
|
Ein Tipp von mir noch, und zwar lege bitte dein /boot in ein RAID1 und den Rest in ein RAID6. Ich mache hierzu immer ein 500-1000MB großes RAID1 für /boot am Anfang aller Platten und den Rest aller Platten in besagtes RAID6. Hintergrund ist das RAID1 weniger Komplex als RAID6 ist, und wirklich jeder Bootloader auch davon booten kann. Grub 2 ist relativ komplex, und ich würde niemandem raten da komplexe Probleme im Fehlerfall suchen zu müssen 😉 mfg Stefan
|
EPOS
(Themenstarter)
Anmeldungsdatum: 14. April 2017
Beiträge: 46
|
Dem Anschein nach lässt sich der bootloader auch nur unter Raid1 installieren "Warning: the /boot filesystem cannot use any softRAID level other than 1" https://help.ubuntu.com/community/Installation/SoftwareRAID ... ist aber auch vom 2015-09-12, daher vermutlich von einer älteren Version die nicht mehr zutreffend ist. Ich tendiere, wenn man von Raid6 booten kann, nur eine SWAP-RAID (8x2GB) und für das bootbare Wurzelverzeichnis (8xRest) einzurichten.
Falls dies nicht geht, muss ich noch ein Raid1 einrichten, ist das parallel mit 2 von den 8 HDDs möglich? Leider habe ich mit Softwareraid bisher keine Erfahrung gemacht, daher verzeiht meine Unwissenheit darüber. ☹
|
encbladexp
Ehemaliger
Anmeldungsdatum: 16. Februar 2007
Beiträge: 17448
|
Du kannst doch auch einfach 500-1000MB von jeder Platte als RAID1 für /boot abzwacken? Das tut dem keinen Abbruch… Normal verwendet man bei so großen Datenmengen auch LVM (auf dem RAID6), und legt darin das SWAP ab. Swap wirst du nicht viel brauchen, und 8x2GB scheint mir wirklich zu viel des guten. mfg Stefan
|