Purpur
Anmeldungsdatum: 15. Mai 2005
Beiträge: 346
|
Hallo Forum, eines ist klar: Backups müssen! Nur: Angenommen, man hat vor längerer Zeit ein erstes vollständiges Home-Backup erstellt, danach in kurzen Abständen nur noch inkrementelle. Weiter angenommen, man möchte nun per Neuinstallation auf eine aktuelle(re) BS-Version updaten. Bis hierhin wäre alles schmerzfrei. Das Home-Verzeichnis liegt ja vollständig im Backup und kann restauriert werden. Problem (?): Auf diesem Weg würde man doch in Altlasten ertrinken, oder? Immerhin sind sämtliche jemals erzeugten Verzeichnisse und Dateien in diesem Backup vorhanden. Natürlich auch die, die man zwischenzeitlich gelöscht oder verschoben hat. Lösung (?): Wäre dann eine anderer Backup-Strategie nicht sinnvoller? Ich denke da z.B. an das Synchronisieren des Home-Verzeichnisses auf eine externe HD. Löschungen und Verschiebungen würden sich spiegeln. Das Problem der vielen evtl. vorhandenen doppelten und dreifachen (...) Dateien wäre gelöst. Andrerseits: Eine Datei, die man versehentlich im Home löscht, wäre dann auch sofort im Spiegel weg. Wie also sinvoll vorgehen? Bin sehr gespannt auf eure Beiträge. Beste Grüße
Moderiert von redknight: ins Forum backups verschoben... Bitte beachte die NAMEN der einzelnen Foren
Bearbeitet von redkngiht: ca 2/3 der manuellen Zeilenumbrüche entfernt. Bitte geh sparsam mit so etwas um und lass den Browser des Betrachters dort umbrechen, wo das Fenster aufhört
|
rleofield
Anmeldungsdatum: 14. September 2008
Beiträge: 779
Wohnort: Görlitz
|
Purpur schrieb: Hallo Forum, eines ist klar: Backups müssen!
Warum? Es geht auch ohne, siehe Myspace 😉
Nur: Angenommen, man hat vor längerer Zeit ein erstes vollständiges Home-Backup erstellt, danach in kurzen Abständen nur noch inkrementelle. Weiter angenommen, man möchte nun per Neuinstallation auf eine aktuelle(re) BS-Version updaten. Bis hierhin wäre alles schmerzfrei. Das Home-Verzeichnis liegt ja vollständig im Backup und kann restauriert werden.
Ok.
Problem (?): Auf diesem Weg würde man doch in Altlasten ertrinken, oder? Immerhin sind sämtliche jemals erzeugten Verzeichnisse und Dateien in diesem Backup vorhanden. Natürlich auch die, die man zwischenzeitlich gelöscht oder verschoben hat.
Daher sollte man bei den Inkrementellen auch ein Löschen vorsehen, was 'zu Fuß' aber nicht mehr trivial ist rsync kann das ganz gut. Brauchst du auch die gelöschten Files einige Zeit, gibt es ein Frontend für rsync, das genau das macht. rsnapshot Bin sehr gespannt auf eure Beiträge.
Gruß rleofield BTW: Auf meiner Homepage (steht im Profil) sind einige Vorträge der letzten Jahre zum Thema Backup.
Das ist meine Ansicht, ohne extra Tools, nur mit 'out of the box' Linux Mitteln.
|
misterunknown
Ehemalige
Anmeldungsdatum: 28. Oktober 2009
Beiträge: 4403
Wohnort: Sachsen
|
Ich nutze rsnapshot. Damit habe ich einen Platzbedarf von n+x, wobei n die Ausgangsdatenmenge ist, und x alle Änderungen über den vorgehaltenen Zeitraum. rsnapshot nutzt unter der Haube rsync und Hardlinks. Im Fehlerfall kann ich die Daten einfach per scp oder rsync zu jedem beliebigen Zeitpunkt direkt aus dem Filesystem wiederherstellen.
|
Purpur
(Themenstarter)
Anmeldungsdatum: 15. Mai 2005
Beiträge: 346
|
rleofield und misterunknown empfehlen rsnapshot. Danke an beide fürs Mitdenken. Die Funktionsweise von rsnapshot erinnert mich sehr an inkrementelle Backups. Grundsätzlich bin ich ein großer Freund davon - die Backups bleiben recht klein.
[...] rsnapshot überprüft dabei selbstständig, welche Dateien neu hinzu gekommen sind oder entfernt wurden. [...]
Das interpretiere ich so, dass versehentlich gelöschte Dateien im Backup ebenfalls weg sind. Sehe ich das richtig? Das oben beschriebene Problem bleibt hier ebenfalls ungelöst: Verschobene Dateien blähen das Backup mit Doppelungen auf. Viele Backup-Programme mit einer GUI beherrschen das Inkrement und sind eingängiger zu handeln als die Kommandozeile (denke ich zumindest). Ich sehe hier auf Anhieb nur zwei gangbare Lösungen:
Gibt es weitere Möglichkeiten, die geschickter wären? Gruß an alle,
Purpur
|
PcDoc2000
Anmeldungsdatum: 4. Februar 2010
Beiträge: 860
Wohnort: Wien
|
Da wirst du eine Menge Vorschläge hören, denn da gibts kein richtig und falsch! Naja, ein falsch gibts schon, aber mehrere richtige Möglichkeiten! 😉 Ich persönlich halte es so:
SEHR wichtige Daten: lokales Backup, welches immer vom Strom und PC getrennt ist außer wenn das Backup läuft + Backup auf (m)einem Cloudserver, der physisch an einem anderen Standort steht (das kann ein privater sein, oder wenn nicht vorhanden ein Cloudstorage Dienst (z.B. Mega) dem du vertraust). Wichtige Daten: Backup mit 2 Versionen (monatliche Snapshots). Also Jan+Feb dann Feb+Mär dann Mär+Apr ... Somit hast du ein ganz aktuelles Backup und eine Version die etwas älter ist. Wobei ich das aktuelle Backup durch Sync aktuell halte wenn sich was wichtiges ändert. Die 2. Version wird nicht mehr upgedatet und ist somit fixiert. Weniger wichtige Daten: Einfaches Backup mit sync in unregelmäßigen Abständen (meist wenn sich wirklich etwas geändert hat), das inkludiert auch Archive die sich im Prinzip nicht mehr ändern.
Ist alles eine Frage wie sicher du deine Daten haben willst. Je sicherer desto aufwendiger (Zeit und Geld), weshalb ich auch die Einteilung in wichtige Daten und weniger wichtige Daten vorgenommen habe. Man muss dazu sagen, dass ich aber etwa 6-8TB an Daten habe die gesichert werden müssen. Wenn das in Summe nur bis zu 50GB sind ist das was ganz anderes! Auch wenn es dir egal ist, die Daten einem Cloudstorageanbieter an zu vertrauen wäre dort ein Syncclient eventuell eine Möglichkeit, WENN der Dienst eine Versionhistory anbietet. So könntest du unabsichtlich gelöschte bzw. überspeicherte Dateien relativ leicht wiederherstellen und hast einen minimalen Aufwand und das, wenn die Datenmenge nicht zu groß ist, vielleicht sogar gratis. Hängt wie gesagt von vielen Faktoren ab was für dich die richtige Strategie ist.
|
TomLu
Anmeldungsdatum: 23. August 2014
Beiträge: 603
|
Purpur schrieb: Gibt es weitere Möglichkeiten, die geschickter wären?
Ja, sicher... ich habe eine andere Vorgehensewise gewählt.... ob die allgemein geschickter ist, weiss ich nicht... vermutlich nicht. Bei mir gelten die Prämissen: Garantierte Wiederherstellung, minimaler persönlicher Aufwand, maximale Eindeutigkeit, aufwandsminimale, eindeutige und zweifelsfreie Verifizierbarkeit. Dazu habe ich die Daten, Dateien, also alles was sicherungsrelevant ist, sachlich in zwei primäre Kategorien getrennt: 1. Der manuelle Wiederherstellungsaufwand für die Reproduktion nach einem Verlust ist hoch bzw. unmöglich, oder dem entgegengesetzt gering. Die 2. Kategorie ist die Änderungsdynamik hinsichtlich statische und dynamische Dateien. Ich sichere also nur das, dessen manuelle Wiederherstellung bei Verlust, Zerstörung, etc. nicht oder nur mit unverhältnismäßig hohem Aufwand möglich ist und was tagesaktuelle Bewegungsdaten mit hohem Änderungsaufkommen sind..... mit anderen Worten, nur Nutzerdaten. Dem entsprechend sind Musik, Film, Buch, Foto hier alles statische Dateien, die sich faktisch gar nicht ändern, also wende ich da auch ein anderes Backup-Konzept an. Die wichtigen, dynamischen und nicht-reproduzierbaren Nutzerdaten liegen bei mir in drei Bereichen ausschließlich (!) auf einer 120-GB-Server-SSD-Partition: Home, Mail, Alle. Jeder Bereich wird einmal täglich via rsync auf eine zweite Platte gesynct, nur neue und geänderte, ohne zu löschen. Einmal monatlich findet ein Full-Sync statt, der auch löscht. Zusätzlich werden im Wochenrhythmus für jeden Bereich ein eigenes vollständiges Tar-File erzeugt, was sich monatlich rotierend überschreibt, 4x3 Backups = 12 rotierende Tar-Archive. Damit liegen pro Bereich immer 3 ältere Versionen vor - aufgrund der Beschränkung auf echte Nutzerdaten immer in der Größe von nur 1-2 GB. Jeweils das letzte und gerade aktuelle Archiv des gewählten Bereiches wird verschlüsselt und sich ebenfalls wieder überschreibend zusätzlich auf meinen Web-Space übertragen. Client-PCs sichere ich gar nicht, weil sie keine Daten enthalten, auch den Server selber nicht, sondern nur dessen Konfigurations-Files, vom Server sind das etwa 50k. Wenn jemand natürlich 1 TB an Multimedia-Files sichern will, funktioniert mein Weg natürlich nicht. Aber sowas sichere ich beispielsweise gar nicht, weil das alles genauso wie ein installiertes OS immer recht einfach wiederbeschaffbar ist. Mein derzeitiger persönlicher Aufwand...?... täglich einmal über eine Mail schauen, die vom Server kommt und auf Fehlermeldungen prüfen. Alle paar Wochen mal ein Tar-Archiv vom Web-Space runterladen, nach tempfs entschlüsseln und entpacken und mit den echten Produktivdaten abgleichen... ideaerweise passend, wenn die Mail am gleichen Tag vorliegt, damit es im wesentlichen vergleichbar ist. Bei mir liegt den Backups also eine vorherige dezidierte Daten-Organsition zugrunde. Regelmäßig (täglich) und wirklich zuverlässig gesichert wird nur das, was nicht reproduzierbar ist und ein hohes Änderungsaufkommen hat.... also primär reine Nutzerdaten.
|
Purpur
(Themenstarter)
Anmeldungsdatum: 15. Mai 2005
Beiträge: 346
|
Ja - ganz ähnlich mache ich es auch:
/home/... Ausgeschlossen: temp, thumbnails, Papierkorb immer auf ausreichend große HD achten, die nur fürs Backup gemounted ist
Dazu verwende ich seit langem problemlos Areca. Die Strategie der rollierenden (oder rotierenden?) Backups kenne ich und weiß, dass dies eine sehr sichere Methode ist. Was im Umkehrschluss bedeuten könnte, dass ich verschiedene Backupaufträge per cron-Job anstoßen müsste. Was hinwiederum bedeutet, dass das Backupmedium ständig erreichbar sein muss. Was nun wieder dem Sicherheitsgedanken widerspricht. Und am Problem gelöschter (per sync) oder gedoppelter (per inkrement) Dateien hat sich noch immer nichts geändert. Also die Pest. Oder doch lieber die Cholera?
|
TomLu
Anmeldungsdatum: 23. August 2014
Beiträge: 603
|
Purpur schrieb: Was hinwiederum bedeutet, dass das Backupmedium ständig erreichbar sein muss. Was nun wieder dem Sicherheitsgedanken widerspricht.
Nein, das ist eine falsche Interpretation. Erreichbar zu sein beinhaltet nicht den Umstand von jedem erreichbar zu sein. Meine Backup-Platte ist ausser vom Server nur durch einen einzigen weiteren Zugriff erreichbar... und zwar wenn ein Blitzschlag im Haus alle Geräte röstet. Bei mir gelten folgende Regeln: es sind auf dem Server keine lokalen Anmeldungen möglich (kein Bildschirm, keine Keyboard/Mouse), der läuft monatelang völlig alleine im Keller. (durch unerlaubten phsyischen Zugriff schon, aber NSA- oder Spionage-Szenarien interessieren mich nicht) es sind auf dem Server keine Remote-Anmeldungen (SSH, VNC) durch User möglich es laufen auf dem Server keine Endanwender-Programme es läuft auf dem Server kein grafisches Desktop-Environment dem Server selber ist bis auf wenige Ausnahmen (SMTP,POP3,VPN) der Zugang zum Internet komplett untersagt es ist nicht möglich, das User auf dem Server irgendwelche Plattenbereiche oder ganz Platten außerhalb der Shares öffnen oder mounten es ist Anwendern nicht möglich, auf Plattenbereiche (lokal und netz) zu schreiben, die nicht ihre eigenen sind es ist Anwendern nicht möglich, auf Plattenbereiche oder Dateien (lokal und netz) zuzugreifen, die anderen User gehören es ist Anwendern nicht möglich, weder lokal, noch im Netz, noch vom Netz kommende Programme per Click auszuführen, die nicht von mir als Admin installiert wurden - nicht mal im eigenen Homedir. es gibt generell auf all unseren Systemen keinen einzigen User, der sich mit eigenem Password root-Rechte aneignen könnte (sudo)
Fakt ist, die Backup-Platte des Servers -völlig egal ob gemountet oder nicht- ist über reguläre LAN-Wege absolut unerreichbar für alle Anwender, einschließlich mir (Admin) selber. Wenn ich da dran will oder die sehen will, geht das nur direkt auf dem Server via SSH und Pubkey-Autorisierung. Wo gibt es da Risiken? Ich sehe da nur den schon erwähnten Blitzschlag und ... aber davor schützt mich die Kopie auf meinem Web-Space.
|
rleofield
Anmeldungsdatum: 14. September 2008
Beiträge: 779
Wohnort: Görlitz
|
Purpur schrieb: rleofield und misterunknown empfehlen rsnapshot. Danke an beide fürs Mitdenken. Die Funktionsweise von rsnapshot erinnert mich sehr an inkrementelle Backups. Grundsätzlich bin ich ein großer Freund davon - die Backups bleiben recht klein.
Nein. rsnapshot macht mit rsync ein inkrementelles Backup. Ok. Danach sortiert rsnapshot die Files so in die Folder der Historie, dass jeder Folder alle Files des betreffenden Zeitpunktes enthält. Will ich also die Files von der ersten Märzwoche wieder haben, brauche ich nur diesen Folder anzuschauen, da ist alles drin. Wird ein File nicht geändert, ist dieser in allen Foldern der Historie enthalten, existiert aber auf der HD nur einmal. D.h. 'gelöschte' Files bleiben solange im Backup, bis der letzte Punkt in der Historie überschritten wurde. Das kann mehrere Jahre dauern, je nach Konfiguration.
[...] rsnapshot überprüft dabei selbstständig, welche Dateien neu hinzu gekommen sind oder entfernt wurden. [...]
Das interpretiere ich so, dass versehentlich gelöschte Dateien im Backup ebenfalls weg sind. Sehe ich das richtig? Das oben beschriebene Problem bleibt hier ebenfalls ungelöst: Verschobene Dateien blähen das Backup mit Doppelungen auf. Viele Backup-Programme mit einer GUI beherrschen das Inkrement und sind eingängiger zu handeln als die Kommandozeile (denke ich zumindest).
Nein, GUI Programme nehmen meist auch nur das, was Linux intern hat, also rsync bzw. rsnapshot. Es gibt Programme, die vermeiden Dopplungen, indem sie nicht die Files, sondern die Blöcke in einer DB speichern. Diese Programme haben oft Versionitis und brauchen wieder ein Tool, um die Blöcke aus der DB wieder als Filetree darzustellen. Versionsverwaltungen machen es in etwa auch so, aber nicht so gut mit Binaries, eher mit Texten. Und im Tree verschobene Files sind mit rsnapshot natürlich mehrfach in der Historie, nicht im einzelnen Backup. D.h die belegen dann auch Platz. In Zeiten von zig TB Platten ist das kein großes Problem mehr. Man sollte sich aber Folder Trees immer gut überlegen und nicht zu viel in den Wurzelfoldern verschieben. Hat man eine gutes Ordnungskonzept, dann wird vieles leichter, auch das Backup.
Ich sehe hier auf Anhieb nur zwei gangbare Lösungen:
Nein. rsnapshot hat keine 'Inkremente'. In jedem Backuptree ist alles da, d.h die 'Zusammenführung' ist erledigt. I hope this helps Gruß rleofield
|
rleofield
Anmeldungsdatum: 14. September 2008
Beiträge: 779
Wohnort: Görlitz
|
Purpur schrieb:
Dazu verwende ich seit langem problemlos Areca.
Genau hinschauen. Es fehlt SSH für Remote Rechner und eine Verschlüsselung des Backups gehört nicht in eine Backupsoftware. Dafür gibt es Linuxtools, die von einer speziellen Software unabhängig sind. Dann habe ich das nicht im Ubuntu Repo gefunden. Warum auch immer hat Ubuntu beschlossen, das nicht mit aufzunehmen.
Die Strategie der rollierenden (oder rotierenden?) Backups kenne ich und weiß, dass dies eine sehr sichere Methode ist. Was im Umkehrschluss bedeuten könnte, dass ich verschiedene Backupaufträge per cron-Job anstoßen müsste. Was hinwiederum bedeutet, dass das Backupmedium ständig erreichbar sein muss. Was nun wieder dem Sicherheitsgedanken widerspricht. Und am Problem gelöschter (per sync) oder gedoppelter (per inkrement) Dateien hat sich noch immer nichts geändert.
Das hängt von Deiner Organisation ab. Man kann das direkt mit Cron machen, oder man started per Cron ein Skript, das einfach nachschaut, ob die Medien da sind, ob Quelle, Ziel ok sind.
Also die Pest. Oder doch lieber die Cholera?
Weder noch, nimm Linux 😉 Gruß rleofield
|
Purpur
(Themenstarter)
Anmeldungsdatum: 15. Mai 2005
Beiträge: 346
|
rleofield schrieb: Purpur schrieb:
Dazu verwende ich seit langem problemlos Areca.
Genau hinschauen. Es fehlt SSH für Remote Rechner und eine Verschlüsselung des Backups gehört nicht in eine Backupsoftware. Dafür gibt es Linuxtools, die von einer speziellen Software unabhängig sind. Dann habe ich das nicht im Ubuntu Repo gefunden. Warum auch immer hat Ubuntu beschlossen, das nicht mit aufzunehmen.
Stimmt - Areca ist in den Repos nicht drin. War es auch nie. Hatte zu Beginn luckyBackup verwendet. Fand ich dann aber so grottig, dass ich umgestiegen bin. Inzwischen scheint es besser geworden zu sein und ist in Version 0.4.7-3 vorhanden.
Das hängt von Deiner Organisation ab.
Ich stoße ein Backup zu Fuß immer dann an, wenn ich denke, nun seien genug Nutzerdaten hinzugekommen oder verändert. Da können die Abstände mal sehr kurz sein oder auch mal ein paar Wochen vergehen. In eine Cloud (was oft empfohlen wird) speichere ich nicht. Dass bei sich MySpace kürzlich massenhaft Files in Luft aufgelöst haben, bestätigt meine Entscheidung. Wundert mich eh, dass so eine Plattform für Backups verwendet wird. Oder verwechsele ich das was? Anyway - externe HD ist die Wahl.
Man kann das direkt mit Cron machen, oder man started per Cron ein Skript, das einfach nachschaut, ob die Medien da sind, ob Quelle, Ziel ok sind.
Nicht gut. Backupmedium permanent gemountet ist nicht gut.
Also die Pest. Oder doch lieber die Cholera?
Weder noch, nimm Linux 😉
Auf Linux umgestiegen bin ich schon zu Beginn der WindowsXP-Zeit. Oft war ich mit dem BS länger beschäftigt als mit produktiver Arbeit. Das nervte. Am Anfang musste noch ein virtuelles Windows sein, weil es einige Weichware noch nicht so richtig gab. Inzwischen? Kein Winzigweich mehr.
Was du zu der Funktionsweise von rsnapshot und rsync gesagt hast, hat meinem Durchblick sehr auf die Sprünge geholfen. Da ich aber mit der bash (noch) nicht per du bin, werde ich mir nun LuckyBackup noch einmal genauer anschauen.
Großen Dank & Grüße,
Purpur
|
PcDoc2000
Anmeldungsdatum: 4. Februar 2010
Beiträge: 860
Wohnort: Wien
|
Purpur schrieb: Stimmt - Areca ist in den Repos nicht drin. War es auch nie. Hatte zu Beginn luckyBackup verwendet. Fand ich dann aber so grottig, dass ich umgestiegen bin. Inzwischen scheint es besser geworden zu sein und ist in Version 0.4.7-3 vorhanden.
Was genau fandest du denn so grottig? Ich finde es nicht unbedingt angenehm es ein zu richten, wobei sich das ausschließlich auf das nicht optimale UI bezieht und nicht auf die Funktionen oder Optionen. Wenn das aber mal eingerichtet ist funktioniert es einwandfrei. Nutze es immer noch in Version 0.4.9 und hatte eigentlich noch nichts zu beanstanden. Freefilesync gefällt mir optisch besser und ich verwende es gern um Verzeichnisse ab zu gleichen da es sehr schön Unterschiede von Verzeichnissen anzeigt, aber für meine Backups nutze ich es (noch) nicht.
|
Purpur
(Themenstarter)
Anmeldungsdatum: 15. Mai 2005
Beiträge: 346
|
PcDoc2000 fragte: [...] so grottig?
Das herumgeeire mit Admin-Rechten. Über Probleme mit root-Rechten bin ich in der Vergangenheit öfter mal gestolpert und habe mir etliche hausgemachte Probleme verschafft. Inzwischen durfte ich - Dank sei dem Forum und seiner Supporter - viel dazulernen. Dadurch haben sich auch meine Problme mit LuckyBackup erledigt und ich verwende es nun gewinnbringend. Sorry für die späte Rückmeldung & meinen Dank an alle, die mir hier geholfen haben. Grüße, Alexander
|