ubuntuusers.de

Wie bin ich vorgegangen? Naja, wie für mich üblich: erstmal habe ich mich ganz naiv einfach mal umgeschaut. Recht schnell erkannte ich, dass unendlich viele Backupmöglickeiten existieren. Diese Vielfalt finde ich sehr gut! Ich habe ein paar Systeme ausprobiert und habe erlebt, was Vielfalt bedeutet!

Aber welches System für Backups ist für mich in meiner eigenen individuellen Situation das Richtige? Dzu zunächst eine Bestandsaufnahme: Ich benutze einen einzigen PC mit Ubuntu hauptsächlich für EBV und Digital Painting sowie für die Verwaltung meiner Fotografien und Bilder. Einige weniger rechenintensive Arbeiten (Office und Recherche) runden das Bild ab

Auf dieser Grundlage habe ich die folgenden Kritereien entwickelt:

1. Das wichtigste ist ein möglichst barrierefreier Zugang zu den Backup-Daten. - Daher kommen keine Backup-Programme in Frage, die eine spezielle „Restore Software“ benötigen weil die Daten verschlüsselt sind, in Pakete verpackt sind oder wo unübersichtlichen Pfade ohne Zugriffsrechte erstellt werden.

- Keine Bedienung übers Terminal. Ok, damit kann ich zwar umgehen, aber als „Nicht-IT’ler“ fühle ich mich einfach sicherer, wenn ich von GUI’s umgeben bin. Insbesondere in Stresssituation, z.B. beim crash einer Partition ...

- Stabilität der Anwendung der Backup- Anwendung. In der Situation wo ich ein Restore benötige reichen mir die dann vorherrschenden Probleme. Wenn die Möglichkeiten von Fehlbedienungen und/oder Fehlfunktionen hinzukommen ist das sehr verunsichernd! Daher sollte ein Backupprogramm aktiv weiternetwickelt oder betreut werden.

2. Inkrementelle Datensicherung: Zunächst war ich von Versioned-Verfahren, so wie bei BackinTime oder timemachine begeistert. Aber bald wurde mir klar, dass ich durch meine Arbeitsweise bei dieser Methode unweigerlich ins Chaos stürzen würde. Ich arbeite gerne prozesshaft, fertige viele Versionen an, die ich dann auch wieder verwerfe – oft, aber nicht immer. Daher achte ich inzwischen darauf, dass ich nur noch diejenigen Dateien (Bild- und XMP-Daten) aufbewahre, die ich auch wirklich benötige. Das sollte auch das Backup widerspiegeln: Es sollten nur nur Daten vorhanden sein, die noch gebraucht werden. Alles Ältere kann muss weg!

Nun habe ich viele Programme getestet und anhand meiner Kriterein bewertet. Und das Programm mit dem dies alles möglich ist, ist FreeFile Sync

Ich hoffe, lieber juribel, dass meine meine Vorgehensweise einigermaßen verständlich ist?

Ich komme nochmal auf rsync zurück.

rsync kann inkrementell sichern, wenn man das möchte. So benutze ich das für meine tägliche Datensicherung auf meine externe USB-SSD. Die Laufzeit spielt dabei überhaupt keine Rolle. Ich sichere z. B. den kompletten /home-Ordner mit, in dem sich u. a. auch das Firefox-Profil befindet. Dort ändern sich ohne eigenes Zutun täglich manchmal Hunderte von Dateien, die ich naturgemäss alle mit sichere. Ohne eigene Änderungen an eigenen Dateien liegt der Zeitaufwand in der Grössenordnung von 30-60 Sekunden. Wenn ich selber viele grosse Dateien ändere (gross im Sinne von mehreren 10-100 Megabytes pro Datei), kann es schon mal 2-3 Minuten dauern.

rsync kann aber auch "nicht-inkrementell" synchronisieren. Das mache ich, um meinen Zweit- bzw. Not-Laptop zu synchronisieren. Dies geschieht bei mir über ssh; dabei synchronisiere ich natürlich nur den eigenen Datenbestand und nix vom System oder /home. Dabei liegt der Zeitaufwand immer deutlich unter 5 Minuten.

Der Unterschied zwischen den beiden Verfahren liegt darin, dass die Sicherung auf dem externen Datenträger pro Tag einen neuen Ordner anlegt, und in jedem Tagesordner ist die komplette Ordnerstruktur mit allen Dateien eins zu eins abgebildet. Alle Dateien sind sofort lesbar. Die Synchronisierung auf den Zweit-Laptop überschreibt, aktualisiert, kopiert und löscht die Dateien, so dass der Hauptrechner und der Laptop synchronisiert sind.

Deine Ausführungen sind erfreulich transparent, aber an deiner Stelle würde ich mich auf keinen Fall auf eine Fremdquelle für so etwas Triviales wie Datensicherung eingelassen. FreeFileSync kann nichts, was rsync und andere nicht auch können. Und um ein Skript namens "bak" aufzurufen, braucht es keine grafische Oberfläche, allenfalls einen 1-Klick-Starter auf der Arbeitsoberfläche. In den Wiki-Einträgen hier im Wiki steht ausserdem nicht umsonst, dass Fremdquellen immer mit Vorsicht zu geniessen sind.

Hallo ftomasch

nur als Hinweis, weil du schreibst:

Ich benutze einen einzigen PC mit Ubuntu ...

Aus dem Wiki: Datensicherung (Abschnitt „Wohin-mit-den-Daten“)

Es gilt jedoch: nie auf die selbe Festplatte, auf der die Daten bereits liegen.

Wenn du das hast: USB3-SSD-Festplatte. Ist recht schnell.

Noch ein alter IT-Spruch: eine Sicherung ist keine Sicherung. ☺

Hallo Berlin_1946! KLar, für die Datensicherung benutze ich zwei externe Festplatten, leider noch Magnetische. Die sind nur während der Sicherung mit dem Computer verbunden.

Hallo Juribel!

Ja klar, mir ist es auch wesentlich lieber, möglichst ohne Fremdquelle auszukommen! Ich habe versucht rsync zu verstehen. Aber leider stoße ich recht schnell an meine eigenen Grenzen....

Das erste Backup auf eine externe USB-HDD dauert bei mir mehr als einen Tag. Die vielen kleinen XMP-Dateien bremsen das Kopieren aus. Daher möchte ich bei jedem weiteren Backup nur noch die Änderungen berücksichtigen.

Wäre das Programm Grsync eine mögliche Lösung? Es ist ja wesentlich dichter an rsync als alle anderen Programme?

Wenn ja: Ermöglicht das Aktivieren der Einstellung "nur bestehnde Dateien aktualisieren" eine inkrementelle Datensicherung? Der entsprechende Screenshot liegt anbei

Hallo ftomatsch,

hast du mal diesen Artikel hier im Wiki gelesen https://wiki.ubuntuusers.de/Skripte/Backup_mit_RSYNC/ ? Dort werden ja Skripte zur Datensicherung vorgestellt. Ich benutze die Skripte selber nicht, sie waren aber die Basis für zwei eigene Perl-Skripte.

Die erste Datensicherung auf einen leeren Datenträger (externe SSD über USB) dauerte auch bei mir viele Stunden; bei ca. 700 GBytes und 470.000 Dateien/Ordnern liegt das in der Natur der Sache. Aber jetzt im laufenden Betrieb bin ich bei maximal 2 Minuten, obwohl ich viel möglicherweise Unnötiges (System-Sachen) mit sichere. Es werden nur neue und geänderte Dateien übertragen. Das ist für mich eine inkrementelle Sicherung, und damit ist deine Anforderung, nur Änderungen zu berücksichtigen, erfüllt.

Ich habe zwei Skripte aus dem folgenden Grund. Ein Skript dient zur täglichen Datensicherung (wie gesagt, ca. 2 Minuten), wobei jeden Tag ein neuer Tages-Ordner angelegt wird mit der kompletten Ordnerstruktur der zu sichernden Daten und allen Dateien darin (nicht kopiert, sondern Hard Links; Kopien nur für geänderte und neue Dateien). Das zweite Skript dient dazu, per ssh meinen Zweit-Laptop zu synchronisieren. Es werden keine Tages-Ordner und keine Hard links angelegt, sondern es wird direkt auf die Ordnerstruktur des Zweit-Laptops geschrieben. Synchronisieren des Zweit-Laptops dauert ein wenig länger, aber auch deutlich unter 5 Minuten, denn da hängt noch das WLAN mit der Fritzbox dazwischen.

Die Hauptvorteile von rsync sind für mich: die hohe Geschwindigkeit und dass die Dateien der Sicherung sofort und ohne weitere Tools verfügbar sind

grsync kenne ich nicht, soviel ich weiss, ist es nur ein Wrapper um rsync mit grafischer Oberfläche. Meiner Meinung nach überflüssig. rsync braucht ein bisschen Einarbeitung und Ausprobieren, das ist wohl war. Aber es lohnt sich.

Nicht unterschlagen möchte ich, dass rsync sehr ineffektiv und nicht Platz sparend ist, wenn sehr viele sehr grosse Dateien sich ständig ändern und gesichert werden müssen, wie z. B. Image-Dateien von virtuellen Maschinen, die leicht mehrere 10 Gigabytes gross sein können. Nur in solchen Fällen (meiner Meinung nach) wäre eine andere Sicherungs-Methode angesagt.

Ich hoffe, dies ist hilfreich, und dass ich mich nicht allzu sehr wiederhole ☺

Hallo juribel! Ja, das Skript kenne ich. Das verstehe ich derzeit noch nicht. Aber, ich habe gesehen, dass ich auf auf den richtigen Weg bin! Also werde ich mich da einarbeiten. Es wird jedoch etwas dauern.....

Eine Frage habe ich doch und zwar zu Deinem vorletzten Absatz:

Wird bei der Sicherung der großen Imagedateien die alte Version automatisch gelöscht oder bleibt sie archiviert? Viele liebe Grüße

Es kommt darauf an ☺

Wenn du rsync für eine Tagessicherung in etwa so aufrufst:

rsync -avR "/media/juribel/intern/VIDEO/" /media/juergen/Datensicherung/240407 --delete --link-dest=../last

wird es einen neuen Ordner "240407" erstellen, falls er noch nicht existiert. "../last" ist dabei ein Link auf den Ordner der vorigen Sicherung. Beides (der Name des Tages-Ordners und der Link) wird in dem Skript automatisch ermittelt bzw. erstellt. Somit werden die Sicherungen der vorhergehenden Tage nicht überschrieben, sondern aufbewahrt. Klar, dass sich bei vielen geänderten sehr grossen Dateien auf dem Sicherungslaufwerk immer mehr an Daten ansammelt. Darum mein Hinweis, dass in so einem Fall rsync vielleicht nicht so das Mittel der Wahl ist.

Rufst du rsync hingegen in etwa so auf:

rsync -av --protect-args --delete "/media/juribel/intern/VIDEO/" "juribel-thinkpad-x240:/media/juribel/intern/VIDEO/"

wird rsync den vorherigen Stand der Dateien mit den neuen Dateien überschreiben. Der letzte Parameter weist rsync übrigens an, per ssh meinen Zweit-Laptop "juribel-thinkpad-x240" zu synchronisieren. In so einem Fall sollen natürlich immer die Originaldateien überschrieben werden, wenn sie zwischenzeitlich geändert wurden.

Der parameter "--delete" weist rsync an, Dateien auf dem Sicherungs- bzw. Synchronisations-Medium zu löschen, wenn sie im Original gelöscht wurden. Bei der Tagessicherung bleiben natürlich die Dateien der vorhergehenden Tagessicherungen unberührt. D. h. auch gelöschte Dateien sind über die älteren Sicherungen immer noch zugreifbar.

In dem Skript wird "../last" hauptsächlich dafür verwendet, damit nicht bekannt sein muss, wie der Ordner der vorherigen Sicherung heisst. Mit diesem wird ja immer curch Vergleich der Sicherungsbedarf ermittelt. Der Link wird jedesmal am Ende des Skripts automatisch neu erzeugt, damit er auf die jetzt letzte Sicherung verweist.

Hallo Juribel! So langsam verflüchtigen sich die Schleier und ich kann anfangen mir ein Bild von rsync machen. Das Programm ist ja gigantisch umfangreich. Ich denke die zweite Anweisung beinhaltet die Löung für mich. Ich fühle mich immer noch wahnsinnig unsicher. Daher versuche ich diese Zeile in anderen Worten wiederzugeben:

Habe ich es richtig verstanden, das durch das a alle Verzeichnisse mit ihren Unterverzeichnissen zusammen archiviert werden? V steht für ausführlich und --protect-args für die 1:1 Kopie der Dateinamen. Soweit so gut. Mit --delete werden alte Dateien/alte Versionen gelöscht Und zwar dann, wenn sie im folgenden Verzeichnis nicht vorhanden sind. Die zweite Pfadanweiung ist das Ziel

Nicht so ganz ☺

Wenn ich selber alles richtig verstanden habe, bedeutet:

--delete: Lösche in der Sicherung alle Dateien, die auch im Original nicht mehr vorhanden sind.

-a: Archivmodus, alle Dateiattribute (Eigentümer, Rechte, Änderungszeitpunkt usw) beibehalten

-v: verbose, "Geschwätzigkeits"-Modus

--protect-args heisst jetzt eigentlich -s und ist in meinem Posting bzw. meinem Skript möglicherweise ein Überbleibsel verschiedener Versuche mit rsync 😉 Kann wohl entfallen.

-R: Benutze einen relativen Pfad

Unterverzeichnisse werden offenbar immer mitgesichert, obwohl es einen Parameter -r gibt. In der Quelle müssen Ordnernamen mit einem Schrägstrich "/" abgeschlossen werden.

Mit -n bzw. --dry-run gibt es auch einen Testlauf, es werden alle Hinweise ausgegeben, aber keine Änderungen gemacht. Damit kannst du nach Herzenslust alles ausprobieren, ohne etwas kaputt zu machen.

Um es nochmal klar zu stellen: der zweite Befehl ist weniger für periodische Datensicherungen gedacht, sondern eher dafür, einen Ziel-Ordner mit einem Quell-Ordner zu synchronisieren, so dass beide, Quelle und Ziel, anschliessend identisch sind. Für eine periodische Datensicherung, in der auch ältere Dateiversionen gespeichert bleiben, ist der erste Befehl gedacht.

Hilfe bietet auch

man rsync

Und hier im Wiki gibt es den Artikel https://wiki.ubuntuusers.de/rsync/. Das waren im wesentlichen auch für mich die wesentlichen Hilfen. rsync ist ja wirklich wahnsinnig mächtig, und es braucht seine Zeit, sich da halbwegs zurecht zu finden. Aber es lohnt sich. Und einmal in ein Skript gegossen, macht eine Datensicherung damit nun wirklich keine Mühe.

Hallo juribel!

Ich habe meinen Augen nicht getraut! Das ist ja genial! rsync funktioniert wirklich und macht sogar alles richtig! Vielen vielen Dank!

Inzwischen fühle ich mich in Bezug zu Linux, als wäre ich im besten Krabbelalter 😉

Etwas mehr kenne ich mich in Thmenen wie Bildgestaltung, Kreation sowie EBV aus. Wenn Du da mal Fragen haben solltest, jederzeit gerne ....

☺ ☺

Irgendwie sind wir doch alle immer irgendwo im besten Krabbelalter, oder?

jaaaaah! Es ist einfach schön neue Welten zu entdecken .....