Für jene die es auch interessiert was passiert, wenn man relativ viel auf eine externe Festplatte an USB kopieren möchte (also Backup machen will) und diese Festplatte das SMR Aufzeichnungsverfahren nutzt.
Vorweg, SMR ist dafür die schlechteste Wahl, jedoch ist es
a) schwer andere so große HDDs zu bekommen (wohl gesetzte Technik)
b) viel günstiger als CMR Platten zu nutzen
c) mit anderen Bedingungen (Settings) auch machbar
Wenn ich das gewusst hätte mit SMR, dann hätte ich wahrscheinlich CMR Platten gekauft.
Schreibt man nur kleinere Mengen Daten, was ja der Normalfall ist, dann fällt das gar nicht mal auf, weil die gecacht auch schnell ist und man es ohne Messung gar nicht unbedingt merkt. Doch beim Kopieren großer Datenmengen am Stück, ist es ätzend.
Wenn man's einmal weißt, dann merkt man das natürlich auch 🤣
Alle Versuche abgebrochen
Also alle meine Versuche die 6,7 TB und ca. 530.000 Dateien von meiner Datenplatte auf die USB-Platte zu sichern, musste ich spätestens nach 1-2 Stunden abbrechen, wenn es dann ohne Cache weiter ging und es dann von 150 MB/s auf 9 MB/s im Schnitt einbrach.
Wahrscheinlich wäre es noch weiter eingebrochen. Eine Woche und mehr lasse ich die Kiste natürlich dafür nicht durchlaufen.
Das Einbrechen der Rate passierte bei allen Verfahren, also natives Kopieren (FreeFileSync), als auch mit Back in Time als auch mit dd (wobei ich letzteres nicht als Backup-Programm zähle).
Wenn auch mit unterschiedlichen Verhalten (habe ich nicht protokolliert), jedoch flott kam ich mit keinem Programm über 5% des Jobs hinaus...
Neues Gehäuse (und Kabel)
Ich fuhr gestern los und habe mit ein neues 3,5" Gehäuse (mein altes ist schon ein paar Jahre alt, jedoch auch schon USB 3.0) mit anderem (kürzeren) Kabel gekauft.
Das hat keinen Unterschied gemacht, eben weil es wohl nicht an der USB-Schnittstelle liegt.
restic neu kompiliert
Dann habe ich mein Backup Programm restic mit einem anderen Parameter neu kompiliert (ist in go geschrieben) und jetzt läuft es schon deutlich besser. Allerdings zerrt es jetzt dafür ordentlich an der CPU (4 Kern / 8 Threads i7), jedoch bekomme ich jetzt ca. 60 MB/s dauerhaft hin. Ca. 30 Stunden ist die Vorauskalkulation von restic. Der geänderte Parameter ist eine Konstante im Code die minpacksize heißt und in restic/internal/repository/packer_manager.go steht:
| // original Wert
//const minPackSize = 4 * 1024 * 1024
//neuer Wert
const minPackSize = 128 * 1024 * 1024
|
Das hilft in meinem Fall wohl, weil die meisten Dateien größer als 4 MB sind (im Mittel 13 MB).
Auf jeden Fall ist das schon mal ein Gamechanger für meine Aufgabenstellung.
Ob das bei den anderen Sicherungen mit kleineren Dateien genauso gut funktioniert wie mit dem Defaultwert, wird sich zeigen.
Andere Hinweise und Vermutungen
Hinweise darauf diese SMR Platten besser nicht stand alone sondern im NAS zu betreiben, sind nicht belastbar. Manche warnen davor explizit, es würde im NAS ebenfalls einbrechen und im Raid-Verbund ist das wohl auch nicht klar, ob das performant funktioniert. Es kommt wohl auch auf das NAS an und die Software.
Die Frage, wie es unter Windows läuft, kann ich Mangelns vorhandenem nativen Windows nicht beantworten. Vielleicht kompensieren hier die Treiber irgendwas, was ich jedoch nicht glaube und NTFS wohl auch kaum performanter als ext4. wenn wer was weiß und einen Vergleich gemacht hat, wäre interessant zu wissen.
Warum restic?
Nun, der Mann hat mich mit seinem Vortrag auf einer CCC Veranstaltung in 2016 angefixt, welchen ich im Netz bei der (erneuten) Suche nach einer "guten" Backupsoftware "für Alles" gefunden habe. Ich finde das Konzept und auch die Software prima.
Ist auch ohne GUI komfortabel finde ich und sehr flott (wenn man keine SMR-Platte an USB hängen hat 😉 )
Zum Vortrag: https://media.ccc.de/v/c4.openchaos.2016.01.restic
Zur Projektseite: https://restic.net
Zu meinem Topic im restic-Forum: https://forum.restic.net/t/restic-first-backup-very-slowly/5289
Abschließend
Vielen Dank für Euer Feedback. Ohne die Community würde bei mir gar nichts richtig funktionieren!
Ich lasse das Thema weiterhin auf ungelöst, denn eine "Lösung" ist es ja nicht wirklich, eher ein Workaround für ein spezifisches Programm, was mir erst mal reicht.
Grüße,
Ralf
