ubuntuusers.de

Problem Backup mit grosse Datenmenge

Status: Gelöst | Ubuntu-Version: Server 16.04 (Xenial Xerus)
Antworten |

sonja

(Themenstarter)
Avatar von sonja

Anmeldungsdatum:
17. Dezember 2004

Beiträge: 224

Hallo, nochmals vielen Dank für die Anregungen.

Die Lösung ist ganz einfach.

  • phy. max. theoretische Schreibgeschwindigkeit von SSDs 600 MB/s ohne Handling

  • phy. max. theoretische Datenübertragung SATA3 oder USB3.2 600 MB/s

das wären ca. 30 GB pro Minute, theoretisch, Heise.de hat letzt schön getestet, wenn man die Hälfte in der Praxis schafft ist man gut!

8.0 TB / 15 GB/Min. = 9 Stunden

Ja es gibt noch schnellere Technik, das muss man aber erstmal hin bekommen, und nicht zu sinnvollen Preisen.

Thomas_Do Team-Icon

Moderator
Avatar von Thomas_Do

Anmeldungsdatum:
24. November 2009

Beiträge: 8808

sonja schrieb:

8.0 TB / 15 GB/Min. = 9 Stunden

Ja es gibt noch schnellere Technik, das muss man aber erstmal hin bekommen, und nicht zu sinnvollen Preisen.

Das beruht aber auf der Annahme, dass immer die gesamte Datenmenge vollständig neu gschrieben werden muss. Zumindest bei Nutzerdaten bieten sich "Snapshots" an, wobei nur veränderte Daten neu übertragen werden. Das geht auch bei ~ 10 TB i.A. in unter einer Stunde.

encbladexp Team-Icon

Ehemaliger
Avatar von encbladexp

Anmeldungsdatum:
16. Februar 2007

Beiträge: 17524

Thomas_Do schrieb:

Das beruht aber auf der Annahme, dass immer die gesamte Datenmenge vollständig neu gschrieben werden muss. Zumindest bei Nutzerdaten bieten sich "Snapshots" an, wobei nur veränderte Daten neu übertragen werden. Das geht auch bei ~ 10 TB i.A. in unter einer Stunde.

Genau das ist der wichtige Punkt. Die Daten werden zwar im Zweifel alle gelesen (checksum bilden) wenn man keine modernen Dateisysteme oder so hat, aber geschrieben wird bei borg oder restic nur der sehr kleine und geänderte Teil.

Den gleichen Trick wenden große Enterprise Storage Systeme zur Inline Deduplication an, etwas nicht schreiben geht im Zweifel immer schneller.

mfg Stefan

Antworten |