ubuntuusers.de

Noch zum Thema Binärvergleich/sind die Daten überhaupt noch lesbar: Nun, meiner Auffassung nach würde mir auch ein Binärvergleich keinen Aufschluss darüber geben, ob die Daten noch lesbar sind, sondern lediglich darüber, ob die auf dem Ziel angekommenen Daten identisch sind, mit den auf der Quelle vorhandenen Daten. Jene könnten ja aber auch bereits auf der Quelle nicht mehr lesbar sein, nachdem sie dort jahrelang rumlagen (bit rot). Aber es stimmt natürlich, dass auch bei der Übertragung allfällige zusätzliche Fehler dazu kommen können, insofern werde ich wohl auch noch dies prüfen müssen.

Da hast du ein Thema angesprochen, mit dem ich auch zu kämpfen habe, leider habe dazu noch keine Lösung gefunden, wie ich große Datenbestände auf beschädigte Dateien überprüfen lassen kann.

Yabba-Dabba-Doo schrieb:

Da hast du ein Thema angesprochen, mit dem ich auch zu kämpfen habe, leider habe dazu noch keine Lösung gefunden, wie ich große Datenbestände auf beschädigte Dateien überprüfen lassen kann.

Eine Möglichkeit: Du nimmst btrfs als Dateisystem und richtest den empfohlenen monatlichen Scrub ein. Alternativ kannst Du natürlich auch die MD5-Summen monatlich berechnen und vergleichen. Dafür gibt es aber bestimmt auch schon was von Ratiopharm.

Noch zum Thema Binärvergleich/sind die Daten überhaupt noch lesbar: Nun, meiner Auffassung nach würde mir auch ein Binärvergleich keinen Aufschluss darüber geben, ob die Daten noch lesbar sind, sondern lediglich darüber, ob die auf dem Ziel angekommenen Daten identisch sind, mit den auf der Quelle vorhandenen Daten. Jene könnten ja aber auch bereits auf der Quelle nicht mehr lesbar sein, nachdem sie dort jahrelang rumlagen (bit rot).

"btrfs scrub" bringt in dem Fall nichts, da es lediglich die Dateien auf Veränderung überprüft, aber es macht keine Aussage darüber, ob die Ursprungsdatei schon fehlerhaft war, das, was der Themenstarter oben beschrieben hat. Bei mir geht um mehrere zig GB an Daten, einige hunderttausend Dateien, die sich über die Jahre oder Jahrzehnte angesammelt haben, aus unterschiedlichsten Quellen in unterschiedlichsten Formaten, die von System zu System mitgewandert sind. Hier suche ich eine Möglichkeit diese auf Funktionsfähigkeit zu überprüfen. Dazu habe ich leider nichts gefunden.

Btrfs https://en.wikipedia.org/wiki/Btrfs#Checksum_tree_and_scrubbing

Yabba-Dabba-Doo schrieb:

rklm schrieb:

Noch zum Thema Binärvergleich/sind die Daten überhaupt noch lesbar: Nun, meiner Auffassung nach würde mir auch ein Binärvergleich keinen Aufschluss darüber geben, ob die Daten noch lesbar sind, sondern lediglich darüber, ob die auf dem Ziel angekommenen Daten identisch sind, mit den auf der Quelle vorhandenen Daten. Jene könnten ja aber auch bereits auf der Quelle nicht mehr lesbar sein, nachdem sie dort jahrelang rumlagen (bit rot).

"btrfs scrub" bringt in dem Fall nichts, da es lediglich die Dateien auf Veränderung überprüft, aber es macht keine Aussage darüber, ob die Ursprungsdatei schon fehlerhaft war, das, was der Themenstarter oben beschrieben hat.

Man hat ja gar keine andere Möglichkeit, als einen Zustand als den korrekten Ausgangszustand anzunehmen - anders geht es gar nicht. Dann erkennt btrfs, wenn es Änderungen demgegenüber gab. Wenn man raid1 oder einen anderen der Level mit Redundanz nutzt, werden Fehler während des Scrubs automatisch korrigiert. Mit anderen Worte: was erst einmal auf einem btrfs Volume liegt bleibt entweder unverändert oder eine Veränderung wird verlässlich erkannt (oder die Hardware geht kaputt, aber das ist natürlich bei allen Speichermedien das gleiche).

Bei mir geht um mehrere zig GB an Daten, einige hunderttausend Dateien, die sich über die Jahre oder Jahrzehnte angesammelt haben, aus unterschiedlichsten Quellen in unterschiedlichsten Formaten, die von System zu System mitgewandert sind. Hier suche ich eine Möglichkeit diese auf Funktionsfähigkeit zu überprüfen. Dazu habe ich leider nichts gefunden.

Das geht rückwirkend natürlich nicht ohne die Software, die diese Daten verarbeiten soll, oder sogar nur mit manueller Inspektion. Einfach ist es bei allen mit gzip oder bzip2 komprimierten Dateien, weil die Prüfsummen enthalten (siehe Kommandozeilen-Option "--test"). OpenOffice und LibreOffice-Dateien sind Zip-Archive, die kann man ebenfalls mit unzip -t testen usw. Du brauchst auf jeden Fall spezifische Tests pro Dateityp, und für viele wird es die nicht geben.

PS: Bitte entferne nicht die Referenzen beim Zitieren!

Schade dann müsste man dies eben schaffen.

Dann hätte man ja ein neues Projekt für die Linux Programmierer. 😉

Yabba-Dabba-Doo schrieb:

Schade dann müsste man dies eben schaffen.

Dann hätte man ja ein neues Projekt für die Linux Programmierer. 😉

Wieso? Btrfs ist da und kann genutzt werden.

Eine rückwirkende Lösung wirds wohl nicht so ohne weiteres geben.

Aber btrfs (oder im Falle meines neuen NAS: ZFS) sollten das Problem hoffentlich für die Zukunft lösen.