Moin,
ich letzten Jahren haben sich 12 TB Daten und 134 Mrd kleine Datein in meinem Raid0 Storage angesammelt (12 SAS Platten zusammen 8 TB). An dieser hängt noch eine weiteres NAS mit 6 TB SATA JBOD. Dieser NAS ist nur in den Storge server gemountet weil der Speicher voll war, seither verschiebe und lösche ich alles manuell, wenn der Speicher des SAS Storages wieder mal voll ist.
Die Software speichert strukturiert in N Unterverzeichnisse, die Suchzeit der NAS ist extrem hoch. Von den 12 TB sind 6 TB von gelöschten Benutzern und weitere 4 TB an Daten die nie wieder aufgerufen werden (aber bleiben müssen >5 Jahre). Diese kann ich aber nicht löschen, weil das System den Löschvorgang im Produktivbetrieb nicht schafft, ja kritisch...
Kerndaten
700.000 io am Tag Backup derzeit über rsync auf einen externen Billig-Server Ubuntu 14.04 noch Verbindung nur intern über Switch und SSHFS zum Webserver
Ich habe mich nun lange belesen und mir ZFS angesehen, ich weiß aber nicht ob es für meinen Zweck auch noch andere Lösungen gibt. Gerade das Backup macht mir zu schaffen und ich möchte auch gern ein Raid-6 oder vergleichbar. Viele Sachen muss ich ausschließen, weil der Produktivbetrieb in jedem Fall am laufen gehalten werden muss (Verfügbarkeit). Wichtig ist vor allem die Trennung von heißen und kalten Daten, denn alte Daten >6 Monate liegen nur rum, die braucht in meinem Bereich kein Mensch mehr. Hier würde der SSD-Cache von ZFS gut greifen. Ich hab überlegt erstmal 3 x 4 TB SSD zu holen um die Datenlöschung zu erzwingen, denn SSD haben ausreichend IO um Mrd Daten innerhalb einer kurzen Zeit zu löschen.
Würdet ihr mir auch zu ZFS raten, ist spontan eine bessere Lösung eingefallen? Ich meine ich könnte auch einen gebrauchten Billigstorage von Hetzner nehmen und die Daten die älter als 6 Monate sind dort im Raid 6 ablagern und alle andere auf SSD lokal halten aber dann bräuchte man wieder ein Skript was das automatisiert und der Entwickler der Software ist kürzlich verstorben. Das würde auch heißen, das ich die Daten der gelöschten Nutzer behalten müsste weil HDD denn Löschvorgang einfach nicht schaffen bzw, würde es 1-2 Monate dauern.