Steffen_FG
Anmeldungsdatum: 11. Juni 2008
Beiträge: 1449
|
Hallo Leute, ich habe gestern diverse Datenverluste in meinen Backups bemerkt und während ich dabei bin, alles zu überprüfen, stelle ich mir die Frage wie das sein kann und was man dagegen tun kann. Doch der Reihe nach... Ich sichere meine Daten, indem ich in losen Zeitabständen bzw. immer nach größeren Änderungen die gesamte Ordnerstruktur meine Homeverzeichnisses auf eine externe, 3Tb große, Festplatte kopiere. Also einfach nur: markieren, kopieren, einfügen. Die externe Festplatte ist mit NTFS formatiert, weil es sein kann, dass ein Windows oder ein Mac ebenfalls mal auf diese Daten zugreifen möchten.
Automatische Tools wie Back in Time habe ich nie benutzt, weil ich mit kopieren & einfügen bisher ganz zufrieden war. Mein Datenbestand beträgt ca. 900Gb, wobei die wirklich wichtigen Daten ca. 30% von dem Ganzen ausmachen. Auf den Rest kann, wenn es hart auf hart kommt, verzichtet werden, obwohl das auch nicht schön wäre. Nun habe ich gestern einige nicht sehr oft benutzte Bilderordner und deren Inhalt gesucht und musste feststellen, dass sie weg waren. Erste Reaktion: cool bleiben und in der Sicherung nachsehen und sie dann ggf. nochmal rüberkopieren. Pustekuchen. In den 3 Datensicherungen auf der o.g. externen Festplatte sind diese Ordner ebenfalls nicht mehr vorhanden. Die älteste Datensicherung ist vom April 2014 (von der Umstellung von Ubuntu precise auf Trusty). Der Datenverlust, oder das "vergessen zu kopieren & einzufügen" muss also noch unter Ubuntu 12.04 passiert sein. Ich kann mich aber an keine "spezielle Situation" bei der Datensicherung erinnern (Fehlermeldungen, hängenbleiben oder ähnliches). Die fraglichen Dateien sind ganz normale .jpg Bilder, .pdf und .odt-Dateien. Keine versteckten Dateien. Auf diese Dateien habe ich im Rahmen meiner ganz normalen Benutzerrechte im Homeverzeichnis ganz normalen Zugriff. Die Dateien sind von daher nichts besonderes, keine besondere Behandlung etc. Die für mich zentrale Frage ist nun: wie kann das sein? Jahrelang kann man sich darauf verlassen, dass kopieren & einfügen genau das tut, was es soll. Woran kann es also liegen, wenn Dateien vergessen werden? Was kann man dagegen tun, außer alles nochmal manuell nachkontrollieren? Kann es an der externen Platte liegen? Oder an der im PC? Oder doch am Betriebssystem? (Fall für den Meckerfred? 😈 ) Was tut man in so einem Fall, um die Ursache zu finden?
|
stfischr
Anmeldungsdatum: 1. März 2007
Beiträge: 19197
|
Steffen FG schrieb: Was tut man in so einem Fall, um die Ursache zu finden?
Backup anlegen und direkt danach kontrollieren.
|
eider
Anmeldungsdatum: 5. Dezember 2009
Beiträge: 6274
|
Auch wenn ich die Schwächen der grafischen Methode nicht erklären kann, bevorzuge ich die Konsole und verwende rsync.
|
Steffen_FG
(Themenstarter)
Anmeldungsdatum: 11. Juni 2008
Beiträge: 1449
|
stfischr schrieb: Steffen FG schrieb: Was tut man in so einem Fall, um die Ursache zu finden?
Backup anlegen und direkt danach kontrollieren.
ist gleich: man kann sich nicht darauf verlassen. Dann kann ich mich auch nicht auf automatische Tools zum Vergleich von Dateien und Ordnern (wie xxdiff) verlassen, sondern muss alles manuell erledigen. Richtig? eider schrieb: Auch wenn ich die Schwächen der grafischen Methode nicht erklären kann, bevorzuge ich die Konsole und verwende rsync.
kann man sich darauf verlassen? 😉
|
TomTobin
Anmeldungsdatum: 24. August 2007
Beiträge: 3094
|
Hallo Steffen FG,
Ich sichere meine Daten, [...] die gesamte Ordnerstruktur meine Homeverzeichnisses auf eine externe, 3Tb große, Festplatte kopiere.
ansich schon mal ganz gut...
Also einfach nur: markieren, kopieren, einfügen.
Hier fangen allerdings schon die Probleme bzw. Rückfragen an.
Du fügst die neuen Sicherungen am Ziel immer in neue leere Ordner ein? oder überschreibst Du manchmal aus Platzgründen? Wie stellst Du fest, dass die Sicherung komplett erfolgt ist und nicht etwa der Dateimanager sich einfach geschlossen hat (Absturz)?
Die externe Festplatte ist mit NTFS formatiert, weil es sein kann, dass ein Windows oder ein Mac ebenfalls mal auf diese Daten zugreifen möchten.
Keine Gute Idee. Dir sind die Filesystemunterschiede ext/ntfs bekannt? Allein schon an der möglichen unterschiedlichen Handhabung der Großkleinschreibung der Systeme kann es hier zu Problemen kommen.
Jahrelang kann man sich darauf verlassen, dass kopieren & einfügen genau das tut, was es soll.
tut es in letzter Konsequenz zu 100% nur bei identischen Filesystemen.
Woran kann es also liegen, wenn Dateien vergessen werden?
siehe oben
Was kann man dagegen tun, außer alles nochmal manuell nachkontrollieren?
Sichere auf's gleiche Dateisystem und nehme nicht copy&paste sondern z.B. wie von eider vorgeschlagen rsync Gruß Tom
|
eider
Anmeldungsdatum: 5. Dezember 2009
Beiträge: 6274
|
Steffen FG schrieb:
kann man sich darauf verlassen? 😉
Im Zusammenhang mit den anderen Antworten gesehen, ja. Der Umgang erfordert etwas Einarbeitung.
|
ixo
Anmeldungsdatum: 6. April 2009
Beiträge: 316
|
Sieh Dir mal das an: http://storebackup.org/ Da gibt es Programm namens storeBackupCheckBackup.pl: Wenn Du Daten von einer Platte auf eine andere kopierst, können unbemerkt Bit-Fehler (z.B. im Hauptspeicher, in der CPU, in Verbindungsleitungen) passieren, die dazu führen, dass fehlerhafte Daten in Deinem Backup gespeichert werden. Dieses kann insbesondere über lange Zeiträume auf der Backup-Platte passieren. Da storeBackup neben den eigentlichen Daten auch Prüfsummen speichert, ist es möglich, die gespeicherten Daten mit diesen Prüfsummen, die aus den Daten im zu sichernden Verzeichnis berechnet wurden, zu vergleichen, um so die Wahrscheinlichkeit zu erhöhen, dass die Daten nicht korrupt sind.
Es gibt auch noch storeBackupCheckSource.pl . Allgemein solltest Du ein fertiges Programm für das Backup nehmen (und hier zumindest stichprobenartig) überprüfen, anstatt manuell zu arbeiten.
|
Steffen_FG
(Themenstarter)
Anmeldungsdatum: 11. Juni 2008
Beiträge: 1449
|
@TomTobin: ich sichere immer in neue leere Ordner und überschreibe nie. Beim Feststellen, ob der Kopiervorgang vollständig war, habe ich mich bisher wirklich immer nur auf die Fortschrittsanzeige vom Dateimanager verlassen. Das war ein Fehler, wie ich nun gelernt habe und ich gelobe Besserung. Dass es Unterschiede zwischen ntfs und ext Filesystemen gibt, ist mir bekannt. Auch dass ntfs sich nicht um Groß- und Kleinschreibung kümmert, während es sich an Spezialzeichen wie Fragezeichen etc. aufhängt, ist mir bekannt. Wenn ich aber nur von einem (Ubuntu-) Rechner die Dateien in einen leeren Ordner kopiere: was soll es dann da für Schwierigkeiten geben? Aufs gleiche Dateisystem sichern fällt flach, weil das ganze plattformübergreifend funktionieren soll. Kann man rsync auch mit ext –→ ntfs benutzen? Macht das einen Unterschied bzgl. Ausführungsgenauigkeit, oder ist das dann das selbe in grün?
|
eider
Anmeldungsdatum: 5. Dezember 2009
Beiträge: 6274
|
Steffen FG schrieb:
Aufs gleiche Dateisystem sichern fällt flach, weil das ganze plattformübergreifend funktionieren soll.
Damit unterwirfst du die Datensicherheit unter diesem Aspekt dem Komfort.
Kann man rsync auch mit ext –→ ntfs benutzen?
Weiß ich nicht, weil ich NTFS nicht einsetze. Was sagt das Wiki?
Macht das einen Unterschied bzgl. Ausführungsgenauigkeit, oder ist das dann das selbe in grün?
Selbstverständlich gilt das Dateisystem-Problem auch bei der Verwendung von rsync.
|
stfischr
Anmeldungsdatum: 1. März 2007
Beiträge: 19197
|
Steffen FG schrieb: ist gleich: man kann sich nicht darauf verlassen.
Also wurden wieder Dateien verschluckt? Welche, ist da eventuell ein schema zu erkennen? Gab es Fehlermeldungen in dmesg während des Kopierens? Dann kann ich mich auch nicht auf automatische Tools zum Vergleich von Dateien und Ordnern (wie xxdiff) verlassen, sondern muss alles manuell erledigen. Richtig?
Wenn Dateien Fehlen bekommt man das ja recht einfach über die Eigenschaften des untersten Ordners heraus. Ansonsten macht man eben diffs:
find /media/backup/ > bkp.txt
find /home/USER/ > org.txt
diff org.txt bkp.txt
|
Steffen_FG
(Themenstarter)
Anmeldungsdatum: 11. Juni 2008
Beiträge: 1449
|
stfischr schrieb: Steffen FG schrieb: ist gleich: man kann sich nicht darauf verlassen.
Also wurden wieder Dateien verschluckt? Welche, ist da eventuell ein schema zu erkennen? Gab es Fehlermeldungen in dmesg während des Kopierens? Dann kann ich mich auch nicht auf automatische Tools zum Vergleich von Dateien und Ordnern (wie xxdiff) verlassen, sondern muss alles manuell erledigen. Richtig?
Wenn Dateien Fehlen bekommt man das ja recht einfach über die Eigenschaften des untersten Ordners heraus. Ansonsten macht man eben diffs:
find /media/backup/ > bkp.txt
find /home/USER/ > org.txt
diff org.txt bkp.txt
oh, da habe ich Dich missverstanden. Ich dachte, Du meinst: "immer nach dem Backup nachkontrollieren". Ich bin noch dabei, die Daten zu checken. Das nächste Backup mache ich morgen bzw. über Nacht. Dann werde ich sehen, ob wieder Daten verschluckt wurden. Bei diversen Probe-Kopier-Aktionen hat alles funktioniert. Deshalb stelle ich nochmal eine ähnliche Situation her, wie damals = alles kopieren. Und das dauert eine Weile, sind ja immerhin 900Gb... Der Tip mit dem diffs ist aber Gold wert. Dankeschön!
|
stfischr
Anmeldungsdatum: 1. März 2007
Beiträge: 19197
|
Was ich mir vorstellen könnte, dass die USB-Platte? einen billigen Chipsatz hat, der bei zuviel Last abstürzt, dann stürzt Nautilus ab ... Oder das Gehäuse ist schlecht belüftet und die Platte/der Chip überhitzen (SMART auf Temperatur prüfen).
|
Steffen_FG
(Themenstarter)
Anmeldungsdatum: 11. Juni 2008
Beiträge: 1449
|
stfischr schrieb: Was ich mir vorstellen könnte, dass die USB-Platte? einen billigen Chipsatz hat, der bei zuviel Last abstürzt, dann stürzt Nautilus ab ... Oder das Gehäuse ist schlecht belüftet und die Platte/der Chip überhitzen (SMART auf Temperatur prüfen).
Nautilus ist meines Wissens nicht abgestürzt. Wie gesagt gab es bei den Datensicherungsaktionen nie eine besondere Situation, wie Absturz, Hängenbleiben etc. Falls so etwas passieren würde, würde ich auch alles nochmal wiederholen und die Ursache suchen. War aber nie, soweit bekannt. Die Platte ist eine Seagate Expansion Desk mit USB 3.0 und 3Tb. Keine Ahnung, ob die einen billigen Chipsatz hat. Smart + Temperatur prüfen etc. geht irgendwie nicht (Tante Google sagt, dass das Funktionieren des SMART-Tools bei USB-Platten auch eher die Ausnahme als die Regel ist). Jedenfalls habe ich die Platte seit ca. 2 Jahren und das hier ist das erste Mal, dass ich Datenverluste habe (zumindest bemerkt, aber bis jetzt hat meine Überprüfung keine weiteren Auffälligkeiten ergeben). Ich checke mal weiter, mache morgen eine neue Datensicherung und berichte dann, ob es wieder zu Verlusten kam.
|
rennradler
Anmeldungsdatum: 27. Februar 2010
Beiträge: 1833
|
Backup per copy und past im Dateimanager wäre mir zu dubios. Wer weiß, was da passiert. rsync ist zuverlässig. Professionelle Backup-Systeme setzen es als Basis ein, z.b. backuppc. Allerdings hast Du da dann genauso das Problem, daß das Ziel-Dateisystem alle Featuers des Ge-Backup-ten unterstützen muß. Somit ist bei ntfs Ärger vorprogrammiert. Wenn es ntfs sein soll, würde ich ein tar- oder cpio-Archiv empfehlen. Einfach den ganzen Dateibaum (bzw. Bäume) in ein tar-Archiv auf die externe Platte. Dann werden auch alle special files, links, Dateirechte, Eigentümerschaft usw. korrekt behandelt. Da kannst Du das Backupdatum und den Rechnernamen und sonst was Relevantes in den Dateinamen reinkodieren. Ein tar-Archiv kann auch unter Windows gelesen werden. OS-X kennt sowieso tar- und cpio-Archive.
|
Steffen_FG
(Themenstarter)
Anmeldungsdatum: 11. Juni 2008
Beiträge: 1449
|
kurzer Zwischenruf: bei meiner bis jetzt letzten Probe-Kopier-Aktion gab es ein eigenartiges Ereignis: Ich habe mehrere Ordnerebenen mit darin enthaltenen Dateien in einen neuen Ordner auf die externe Festplatte kopiert und dabei kam mitten im Kopiervorgang eine Abfrage, dass diverse Dateien (die kopiert werden sollten) schon vorhanden wären... überspringen oder ersetzen oder neuer Dateiname... und das obwohl die Dateien ja vorher gar nicht da waren! Selbst der enthaltende Ordner war nicht da. Ich kann mich dran erinnern, dass das schon einige Male passiert ist. Nun weiß ich allerdings nicht mehr, ob das auch bei den fraglichen verlorenen Dateien der Fall war...
|