alteseisen
Anmeldungsdatum: 29. April 2012
Beiträge: 35
|
Hallo liebes Forum, ich möchte kurz mein Problem erklären. Ich bin leidenschaftlicher (Hobby-)Fotograf und bin seit Beginn der Digitalen Spiegelreflexkameras auch digital unterwegs. Zur dauerhaften Archivierung habe ich bis heute leider noch kein Medium gefunden, das das über Jahrzehnte wirklich sicher macht. Ich habe etliche Festplatten die mit Bildern vollgestopft sind und leider seit kurzem eine Festplatte die sich durch jahrelanges Lagern wohl entmagnetisiert hatte. Die Daten waren komplett weg, die Platte selbst ist aber in Ordnung.
Ich benötige also eine Möglichkeit die Daten der anderen Platten effektiv aufzufrischen, damit das nicht nochmal passiert. Klar könnte ich von Zeit zu Zeit einfach die komplette Festplatte auf eine andere Platte kopieren, aber bei mittlerweile mehr als einem Dutzend Platten kann sich jeder vorstellen, das es ziemlich viel Zeit in Anspruch nimmt. Gibt es eine elegantere Möglichkeit ?
|
TomTobin
Anmeldungsdatum: 24. August 2007
Beiträge: 3094
|
Hallo alteseisen,
Zur dauerhaften Archivierung habe ich bis heute leider noch kein Medium gefunden, das das über Jahrzehnte wirklich sicher macht. Ich habe etliche Festplatten die mit Bildern vollgestopft sind.
Ein interessantes Problem, habe gerade selbst ca. 20.000 Dias digitalisiert und überlege wie ich die auch noch in 15 Jahren angucken kann 😬
Ich benötige also eine Möglichkeit die Daten der anderen Platten effektiv aufzufrischen,
Wenn wir hier von Jahrzehnten sprechen ist das in der Tat gar nicht so einfach.
Klar könnte ich von Zeit zu Zeit einfach die komplette Festplatte auf eine andere Platte kopieren, aber bei mittlerweile mehr als einem Dutzend Platten kann sich jeder vorstellen, das es ziemlich viel Zeit in Anspruch nimmt.
Von welcher gesamt Datenmenge und wie vielen Platten sprechen wir hier? Wenn es rel. kleine Platten sind, käme dann Nachrüsten in Betracht um z.B. alles auf eine große Platte zu kopieren und diese ggf. zu spiegeln?
Im Prinzip geht es unterm Strich eigentlich um eine Backup-Strategie. Beispiel: für meine Dias benötige ich (nur) 300GB Speicherplatz und dafür nur eine Festplatte. ich hatte dein Pech noch nicht aber derzeit sind die Bilder auf einer Backup-Platte die etwa alle zwei Jahre gewechselt wird (Rotation mit einer Baugleichen) und einer Archiv-Platte auf der die Bilder ursprünglich vom Scanner abgelegt wurden. Als ideal sehe ich das aber auch nicht. Gruß Tom
|
alteseisen
(Themenstarter)
Anmeldungsdatum: 29. April 2012
Beiträge: 35
|
Hallo Tom, aktuell sind es 12 Platten verschiedener Generationen. Die Platte die es "erwischt" hat wurde wohl zuletzt 2004 genutzt, mein Fehler das ich das nicht schon auf eine neuere Platte gespeichert habe. Mein Problem wird aber in Zukunft nicht geringer, ich möchte in absehbarer Zeit in das digitale Mittelformat und da ist ein Bild alleine schon 100MB groß.Die Platten ab und an anzuschließen reicht ja nicht aus und Terrabyteweise Daten immer von A nach B kopieren ist auf Dauer auch keine Lösung.
Früher hatte ich mal ein SCSI-Magnetbandgerät, das war recht zuverlässig aber gibt es so etwas heutzutage noch. Einen NAS-Speicher finde ich auch nicht als die ultimative Lösung, der müsste ja auch stetig wachsen.
|
TomTobin
Anmeldungsdatum: 24. August 2007
Beiträge: 3094
|
aktuell sind es 12 Platten verschiedener Generationen.
Einen NAS-Speicher finde ich auch nicht als die ultimative Lösung, der müsste ja auch stetig wachsen.
Es gibt inzwischen schon recht Große, kommt eben drauf an von welcher Menge bzw. jährlichen Zuwachs wir reden und was du bereit wärst zu investieren.
Die Platten ab und an anzuschließen reicht ja nicht aus und Terrabyteweise Daten immer von A nach B kopieren ist auf Dauer auch keine Lösung.
Auf die Schnelle hätte ich ein NAS mit Spiegelung und Hotpluged vorgeschlagen. Einmal im Jahr eine Platte gezogen, aufbewahrt und im NAS durch eine leere ersetzt, im folgenden Jahr dann die ältere Platte gezogen usw. Das NAS kümmert sich um die Spiegelung und du hast keine Arbeit außer dem Wechsel und dem Abwarten bis es wieder gesynct ist. Gruß Tom
|
alteseisen
(Themenstarter)
Anmeldungsdatum: 29. April 2012
Beiträge: 35
|
Hallo Tom, das ich mir über die zukünftige Backupstrategie noch mehr Gedanken machen muss ist wohl unausweichlich. Aktuell mache ich mir aber Gedanken über das Auffrischen der schon vorhandenen Platten. Gibt es eine Anwendung unter Linux, mit der die Daten gelesen und wieder geschrieben werden, damit diese aufgefrischt werden ? Genau so etwas brauche ich gerade.
|
chilidude
Anmeldungsdatum: 18. Februar 2010
Beiträge: 867
|
alteseisen schrieb: Gibt es eine Anwendung unter Linux, mit der die Daten gelesen und wieder geschrieben werden, damit diese aufgefrischt werden ? Genau so etwas brauche ich gerade.
Die wirst du dir schon selbst schreiben müssen. Du könntest dir eine Dockingstation mit zwei Festplattenschächten kaufen. Die sind speziell auf das Kopieren ganzer Festplatten ausgelegt, allerdings bin ich mir nicht sicher wie gut die arbeiten. Das Hauptproblem beim Kopieren ist nämlich, dass dabei auch Bitfehler entstehen. Wenn du es selbst schreiben willst ist das nicht schwierig. Mit dd und den richtigen Parametern geht das "rasend" schnell. Durchschnittlich 70 MByte/sec sind duraus drin. (Bei den äusseren Spuren etwa 130, bei Inneren etwa 50 Mbyte/s.) Anschliessend müsstet du noch auf Bitfehler testen. Das ist gar nicht schwer. Dazu legst du einfach zwei blockierende Fifos ("mkfifo") an und schiebst mit zwei dd Befehlen den Inhalt der Festplatten dort rein. Anschliessend vergleichst du mit "cmp" auf Fehler. Ungefähr so:
dd if=/dev/sdx of=/dev/sdy bs=10M
mkfifo ff1
mkfifo ff2
dd if=/dev/sdx of=ff1 bs=10M &
dd if=/dev/sdy of=ff2 bs=10M &
cmp ff1 ff2 In der Praxis würde es sich dazu lohnen Partitionen zu kopieren und diese gleich gross anzulegen. Der Nachteil bei der Methode mit "dd" ist allerdings, dass fehlerhafte Blöcke, die durch die OS-Software erkannt werden, Schwierigkeiten machen können. (Dann muss das Skript komplexer gestaltet werden z.B mit der Vorgabe von Offsets.) Bei modernen Festplatten ist das aber kein Problem, da die Elektronik intern dies transparent managt und das OS davon nichts mehr mitbekommt.
|
rleofield
Anmeldungsdatum: 14. September 2008
Beiträge: 779
Wohnort: Görlitz
|
aber bei mittlerweile mehr als einem Dutzend Platten kann sich jeder vorstellen, das es ziemlich viel Zeit in Anspruch nimmt. Gibt es eine elegantere Möglichkeit ?
Die Kopierzeit mag hoch sein, aber Du musst ja nicht davor sitzen bleiben. Steck die HDs an USB3 oder SATA Kabel und kopiere mit rsync von A nach B. Wenn Du es sehr genau haben willst, wiederhole rsync mit den üblichen Optionen und -c . Kein dd oder andere low level Tools. dd kopiert alles und kennt keine Filesystemstruktur. rsync kopiert nur die Files, leere Blöcke nicht und rsync kann auf Bitgleichheit (Hash) prüfen. Die Platten mit smartctl auch mal anschauen. Leider reichen einige USB-Controller die dafür nötigen Kommandos nicht durch. Muss man das öfter machen, kann man das auch komplett automatisieren. Mit Skript HD erkennen, mit Liste prüfen ob A nach B oder B nach A vorliegt, kopieren, prüfen und Meldung auf dem Desktop ausgeben. D.h. 2 Platten anstecken, Meldung abwarten, fertig. BTW: Wenn die Bilder wirklich wichtig sind, dann sollte man besser 2 Kopien davon haben und diese vor dem Umkopieren mit rsync -c bitweise vergleichen. Da die Bilder oft statisch sind, d.h. sie werden nicht geändert, kann man auch die Hash Summen anlegen und mit diff vergleichen. Gruß rleofield
|
Reinarden
Anmeldungsdatum: 29. September 2014
Beiträge: 1044
|
alteseisen schrieb:
Gibt es eine Anwendung unter Linux, mit der die Daten gelesen und wieder geschrieben werden, damit diese aufgefrischt werden ?
Ja:
badblocks -n /dev/<Gerät> http://manpages.ubuntu.com/manpages/xenial/en/man8/badblocks.8.html
-n Use non-destructive read-write mode. By default only a non-destructive read-only test is done. This option must not be combined with the -w option, as they are mutually exclusive. [..] WARNING Never use the -w option on a device containing an existing file system. This option erases data! If you want to do write-mode testing on an existing file system, use the -n option instead. It is slower, but it will preserve your data.
Dadurch wird jeder Sektor gelesen, dann ein paar Schreiboperationen auf ihn gemacht, und dann der Originalsektor wieder zurückgeschrieben. Dauert ein Weilchen, funktioniert aber auf jenen SD-Kärtchen meiner Raspberry-Pi-Rechner einwandfrei, welche ansonsten dazu neigen, mit der Zeit ihre Daten zu verlieren. Wie zuverlässig damit mechanische Festplatten gepflegt werden können, weiß ich leider nicht, aber auf SD-Kärtchen funktioniert es einwandfrei. Und das Prinzip dürfte für andere magnetische Speicher vergleichbar sein. P.S. Trifft badblocks auf wirklich kaputte Sektoren, werden diese angezeigt und man sollte erwägen, das Medium zu ersetzen.
|
unbuntuS12
Anmeldungsdatum: 2. Juni 2010
Beiträge: 1816
|
Vorweg: Ich gucke gleich auch nochmal nach, aber ich bin mir relativ sicher, dass das Remagnetisieren schon durch das Lesen alleine geschieht. Dann wäre die ganze Aktion mit cat /dev/sdX > /dev/null erledigt. edit: Hier steht was Gegenteiliges.
|
PcDoc2000
Anmeldungsdatum: 4. Februar 2010
Beiträge: 860
Wohnort: Wien
|
Warum bei dir die ganze HDD leer ist/war kann ich dir nicht sagen, wundert mich aber sehr. Also eigentlich sollten normale HDDs mehr locker 10 Jahre ohne Strom überleben und keine Daten verlieren (bei korrekter Lagerung). Im normalfall deutlich mehr. Bei der aktuellen Geschwindigkeit mit der sich die Technologie entwickelt läufst du aber zwangsläufig in ein anderes Problem. Nehmen wir mal an du hast eine IDE HDD mit einen Fotos von vor 10-15 Jahren, dann findest du kaum noch Gehäuse/Rechner wo du die verweden kannst! Es sind also weniger die Medien selbst um die du dir Gedanken machen solltest, sondern mehr die dazu gehörige Schnittstelle Alle 10 Jahre die ganzen "alten" HDDs auf eine aktuelle große kopieren und das müsste passen. Je nachdem wieviel Platz du brauchst wäre auch eventuell Cloud-Space eine Lösung. Das ist sicher mit laufenden Kosten verbunden, aber wäre (eventuel zusätzlich zu lokalen HDDS) eine reltaiv sichere Langzeitlösung.
|
seahawk1986
Anmeldungsdatum: 27. Oktober 2006
Beiträge: 11181
Wohnort: München
|
unbuntuS12 schrieb: Vorweg: Ich gucke gleich auch nochmal nach, aber ich bin mir relativ sicher, dass das Remagnetisieren schon durch das Lesen alleine geschieht.
Du denkst nicht zufällig gerade an Kernspeicher? Die modernen Leseköpfe in Festplatten können die Magnetisierung der Sektoren auf der Platte über den Magnetoresistiven Effekt auslesen ohne ein eigenes elektromagnetisches Feld aufzubauen: Festplattenlaufwerk - Die Schreib-Lesekopfeinheit alteseisen schrieb: aktuell sind es 12 Platten verschiedener Generationen. Die Platte die es "erwischt" hat wurde wohl zuletzt 2004 genutzt, mein Fehler das ich das nicht schon auf eine neuere Platte gespeichert habe.
Seit 2004 kein Backup erstellt zu haben heißt, dass die Daten nicht wichtig waren, sonst hätte man eines angelegt 😈 Die Platten ab und an anzuschließen reicht ja nicht aus und Terrabyteweise Daten immer von A nach B kopieren ist auf Dauer auch keine Lösung.
Doch, das ist aktiv betriebene Datensicherung. Und du willst auch mehr als eine Kopie von A nach B, also mindestens das selbe noch mal von A nach C - die zweite Kopie wird dann räumlich getrennt gelagert. Natürlich kannst du professionelle Archivmedien mit versprochenen Lebensdauern von 30 Jahren einsetzen, aber auch da musst du auch regelmäßig prüfen, ob die Daten noch in Ordnung sind oder ob sich Fehler eingeschlichen haben. Ein potentiell kaputtes Backup bringt im Ernstfall wenig. Wenn das nötige Kleingeld vorhanden ist, kann man ein NAS mit einem großen Festplattenverbund nutzen, um die Bilder vorzuhalten und das dann als Datenquelle für Backups auf einzelne Festplatten, Archiv-Bänder, Cloud usw. nutzen. alteseisen schrieb: Zur dauerhaften Archivierung habe ich bis heute leider noch kein Medium gefunden, das das über Jahrzehnte wirklich sicher macht.
Stein, Nickel, Papier, Mikrofilm und Vellum hat sich historisch gesehen recht gut bewährt: Langzeitarchivierung
|
rleofield
Anmeldungsdatum: 14. September 2008
Beiträge: 779
Wohnort: Görlitz
|
Zur dauerhaften Archivierung habe ich bis heute leider noch kein Medium gefunden, das das über Jahrzehnte wirklich sicher macht.
Jahrzehnte? Jahrtausende! Und auch noch 3 versch. Formate auf einem Medium. Rubrik → Früher war alles besser. https://de.wikipedia.org/wiki/Stein_von_Rosette 😉 rleofield
|
frostschutz
Anmeldungsdatum: 18. November 2010
Beiträge: 7658
|
alteseisen schrieb: Ich habe etliche Festplatten die mit Bildern vollgestopft sind und leider seit kurzem eine Festplatte die sich durch jahrelanges Lagern wohl entmagnetisiert hatte. Die Daten waren komplett weg, die Platte selbst ist aber in Ordnung.
Eine Festplatte die sich "entmagnetisiert" funktioniert nicht mehr. Der Lesekopf findet seine Position nicht mehr, der stellt seine Position auch nur "magnetisch" fest... wenn das weg ist dann wars das. Dann hat jeder Sektor eine Prüfsumme, wenn sich der "magnetische Zustand" auf zufällige Art ändert passt diese nicht mehr → Lesefehler. Wenn die "Platte in Ordnung" ist aber die Daten nicht drauf sind, dann ist das Dateisystem im Eimer oder jemand hat gelöscht...
Ich benötige also eine Möglichkeit die Daten der anderen Platten effektiv aufzufrischen, damit das nicht nochmal passiert. Klar könnte ich von Zeit zu Zeit einfach die komplette Festplatte auf eine andere Platte kopieren, aber bei mittlerweile mehr als einem Dutzend Platten kann sich jeder vorstellen, das es ziemlich viel Zeit in Anspruch nimmt. Gibt es eine elegantere Möglichkeit?
RAID + Backup + 2. Backup Backup. Im RAID kannst du Platten resyncen lassen (alle Daten neu geschrieben) wenn du meinst daß das was bringt. Wichtiger sind regelmäßige SMART-Selbsttests und Platten tatsächlich tauschen beim kleinsten Anzeichen. Wer Lesefehler / Reallocated/Pending/Uncorrectables für normal hält ist selber schuld. Gerade für Fotos würde ich auch weiterhin empfehlen, das Zeug dann und wann runterzubrennen. Bei Festplatten reicht ein defektes Netzteil um sie alle auf einmal totzuzappen. Die optischen Medien haben einen schlechten Ruf aber bei ordentlicher Lagerung halten die eine Weile. Magnetbänder lohnen sich privat leider nicht.
|
encbladexp
Ehemaliger
Anmeldungsdatum: 16. Februar 2007
Beiträge: 17449
|
Um es kurz zu machen, hier ein paar mögliche und sinnvolle Tipps:
Du brauchst mehrere Backups. Von jeder Datei mindestens 2 Sicherungen, auf unterschiedlichen Medium natürlich. Also zwei USB/eSATA Festplatten verschiedenen Typs z.B. sind OK Bit Rot ist für dich ein Problem, kippt ein Bit, ist die Datei hinüber. Um Bitrot zu erkennen benötigt du ein Dateisystem mit Prüfsummen, konkret also btrfs oder ZFS. Einer deiner Datenträger sollte so ein Dateisystem haben. Das andere Medium sollte z.b. ext oder XFS als Dateisystem haben, dort legst du für alle Dateien mit par2 (oder was vergleichbarem) Korrekturfiles an. Das sind Dateien die Daten für eine sog. Vorwärtsfehlerkorrektur enthalten. Kippt ein Bit, besteht eine große Wahrscheinlichkeit mit dem genannten File die Originaldatei zu fixen. Kopiere die Daten öfters mal um, zum einen prüfst du so die Medien, zum anderen erkennst du so defekte auf einem deiner zwei Medien. Datenträger die >1-2 Jahre liegen neigen gerne zu einem spontanen Defekt.
tl;dr: Es ist ein komplexes Thema. mfg Stefan
|
alteseisen
(Themenstarter)
Anmeldungsdatum: 29. April 2012
Beiträge: 35
|
Hallo liebes Forum, Den Tip von Reinarden werde ich beherzigen und ausprobieren, danke nochmals dafür Reinarden. Wichtig ist für mich erst einmal das die Daten "aufgefrischt" werden. Danach werde ich wohl nicht darum kommen mir eine Strategie zu überlegen, wie die Daten dauerhaft gesichert werden können und das trotzdem mit einem erträglichem Zeitaufwand funktioniert.
Vielen Dank für eure Rückmeldungen.
|