ubuntuusers.de

BackInTime rsync auf Synology NAS/rsync einrichten?

Status: Ungelöst | Ubuntu-Version: Ubuntu 22.04 (Jammy Jellyfish)
Antworten |

san04

Anmeldungsdatum:
19. Januar 2010

Beiträge: 1248

Okay, dann müsstest du nur entscheiden (sonst gibts hier Chaos), ob du auf ssh per backintime wechseln möchtest, da kann zumindest ich nicht wirklich weiterhelfen, oder die bisherige Vorgehensweise versuchen möchtest anzupassen, oder ganz auf rsync (ohne GUI, dafür leichter zu realisieren) zu wechseln. Dafür wäre dann zunächst mal der rsync-Befehl von BiT notwendig, Details, wie du mountest und die Rechte im gemounteten Verzeichnis.

Berlin_1946 Team-Icon

Supporter, Wikiteam

Anmeldungsdatum:
18. September 2009

Beiträge: 10160

Miq19 schrieb:

... aber die Unmengen überflüssiger Dateikopien nerven mich halt...

Kannst du die etwas genauer benennen?

Ich habe noch nicht verstanden, wo die jetzt genau gespeichert sind und warum du die als überflüssig bezeichnest.

Hast du deine NAS- Einstellungen bezüglich Linux mal geprüft?

Vllt hilft dieser Link synology-nas-unter-linux

Nachtrag:
https://www.pcwelt.de/article/1150081/backup-vom-nas.html

Miq19

(Themenstarter)

Anmeldungsdatum:
17. Dezember 2023

Beiträge: 67

Dann schaunmermal. Hier das rsync-Kommando aus dem letzten Log von BackInTime:

[I] rsync --recursive --times --devices --specials --hard-links --human-readable -s --copy-links --xattrs --perms --executability --group --owner --info=progress2 --no-inc-recursive --no-perms --no-group --no-owner --delete --delete-excluded -v -i --out-format=BACKINTIME: %i %n%L --link-dest=../../20240401-150001-638/backup --chmod=Du+wx 
--exclude=/mnt/backup-mit-nas 
--exclude=/home/micha/.local/share/backintime 
--exclude=.local/share/backintime/mnt 
--include=/home/micha/Bilder/ 
--include=/home/micha/ 
--include=/home/ 
--include=/home/micha/Dokumente/ 
--include=/home/micha/eq3-max/ 
--include=/home/micha/Kensington/ 
--include=/home/micha/moneyplex/ 
--include=/home/micha/Musik/ 
--include=/home/micha/Schreibtisch/ 
--include=/home/micha/snap/ 
--include=/home/micha/Videos/ 
--include=/home/micha/Vorlagen/ 
--include=/home/micha/EE/ 
--include=/home/micha/DemonEditor/ 
--include=/home/micha/ML/ 
--include=/home/micha/Calibre-Bibliothek/ 
--include=/home/micha/brscan/ 
--exclude=.gvfs --exclude=.cache/* --exclude=.thumbnails* --exclude=.local/share/[Tt]rash* --exclude=*.backup* --exclude=*~ --exclude=.dropbox* --exclude=/proc/* --exclude=/sys/* --exclude=/dev/* --exclude=/run/* --exclude=/etc/mtab --exclude=/var/cache/apt/archives/*.deb --exclude=lost+found/* --exclude=/tmp/* --exclude=/var/tmp/* --exclude=/var/backups/* --exclude=.Private --exclude=.wine/* 
--include=/home/micha/Bilder/** 
--include=/home/micha/Dokumente/** 
--include=/home/micha/eq3-max/** 
--include=/home/micha/Kensington/** 
--include=/home/micha/moneyplex/** 
--include=/home/micha/Musik/** 
--include=/home/micha/Schreibtisch/** 
--include=/home/micha/snap/** 
--include=/home/micha/Videos/** 
--include=/home/micha/Vorlagen/** 
--include=/home/micha/EE/** 
--include=/home/micha/DemonEditor/** 
--include=/home/micha/ML/** 
--include=/home/micha/Calibre-Bibliothek/** 
--include=/home/micha/brscan/** 
--exclude=* / /mnt/backup-mit-nas/backintime/Nimbus/micha/1/new_snapshot/backup

Zeilenumbrüche vor den --include sind von mir.

Und das Änderungslog fängt so an:

========== Take snapshot (profile 1): Mon Apr  1 16:00:01 2024 ==========

[C] cf...p..... home/micha/Bilder/Bildschirmfoto vom 2023-12-26 17-22-13.png
[C] cf...p..... home/micha/Bilder/Bildschirmfoto vom 2024-01-11 16-21-20.png
[C] cf...p..... home/micha/Bilder/Bildschirmfoto vom 2024-01-11 16-21-28.png
[C] cf...p..... home/micha/Bilder/Bildschirmfoto vom 2024-01-13 15-26-13.png
[C] cf...p..... home/micha/Bilder/Bildschirmfoto vom 2024-01-13 15-27-15.png
[C] cf...p..... home/micha/Bilder/Bildschirmfoto vom 2024-02-09 10-57-08.png
[C] cf...p..... home/micha/Bilder/Bildschirmfoto vom 2024-02-17 16-12-04.png
[C] cf...p..... home/micha/Bilder/Bildschirmfoto vom 2024-03-13 17-19-11.png
[C] cf...p..... home/micha/Bilder/Bildschirmfoto vom 2024-03-13 17-20-16.png
[C] cf...p..... home/micha/Bilder/Bildschirmfoto vom 2024-03-14 14-42-31.png
[C] cf...p..... home/micha/Bilder/Bildschirmfoto vom 2024-03-14 15-17-59.png
[C] cf...p..... home/micha/Bilder/Bildschirmfoto vom 2024-03-14 15-19-02.png
[C] cf...p..... home/micha/Bilder/Bildschirmfoto vom 2024-03-14 15-22-36.png
[C] cf...p..... home/micha/Bilder/Bildschirmfoto vom 2024-03-14 15-23-30.png
[C] cf...p..... home/micha/Bilder/Bildschirmfoto vom 2024-03-14 18-20-54.png
[C] cf...p..... home/micha/Bilder/2024/03/26/P1020374.JPG
[C] cf...p..... home/micha/Bilder/2024/03/26/P1020375.JPG
[C] cf...p..... home/micha/Bilder/2024/03/26/P1020376.JPG
[C] cf...p..... home/micha/Bilder/2024/03/26/P1020377.JPG
[C] cf...p..... home/micha/Bilder/2024/03/26/P1020378.JPG
[C] cf...p..... home/micha/Bilder/2024/03/26/P1020379.JPG
[C] cf...p..... home/micha/Bilder/2024/03/26/P1020380.JPG
[C] cf...p..... home/micha/Bilder/2024/03/26/P1020381.JPG
[C] cf...p..... home/micha/Bilder/2024/03/26/P1020382.JPG
[C] cf...p..... home/micha/Bilder/GooglePhotos/2024-01-19_084158.jpg
[C] cf...p..... home/micha/Bilder/GooglePhotos/2024-01-19_084200.jpg[C] cf...p..... home/micha/Bilder/GooglePhotos/2024-01-19_084206.jpg[C] cf...p..... home/micha/Bilder/GooglePhotos/2024-01-19_084209.jpg
[C] cf...p..... home/micha/Bilder/GooglePhotos/IMG_20231226_083108608.jpg
[C] cf...p..... home/micha/Bilder/GooglePhotos/IMG_20231226_083116914.jpg
[C] cf...p..... home/micha/Bilder/GooglePhotos/IMG_20231227_094826528.jpg

An den Dateinamen könnt Ihr sehen, wann diese Bilder entstanden sind. Änderungen daran gab es nicht, und BackInTime sagt mit dem "p" wohl, dass sich die Permissions geändert hätten.

Haben sie aber nicht, die hat keiner angefasst. Trotzdem werden sie bei jeder Sicherung wieder mitkopiert - insgesamt sind das einige tausend Dateien pro Backup, die sinnlos mitgesichert werden.

Das Problem haben laut Internetrecherche einige, und die Hinweise zur Beseitigung funktionieren nicht nur bei mir nicht. Ein Tipp war, als zusätzliche Optionen für rsync "--no-perm --no-owner --no-group" anzugeben. Habe ich natürlich gemacht - Ihr findet die oben auch in den Parametern -, aber gebracht hat das nichts. Die Standardparameter von BackInTime für rsync scheinen auch explizit "--group --perm --owner" zu enthalten, denn die sind ebenfalls in der Befehlszeile zu finden.

Eine halbwegs plausible Erklärung aus Stackexchange war, dass das Synology die Berechtigungen der gesicherten Dateien umsetzt, wodurch das Ziel als verändert erkannt würde. Ich konnte das aber nicht belegen und ein Gegenmittel gab es da auch nicht.

san04

Anmeldungsdatum:
19. Januar 2010

Beiträge: 1248

san04 schrieb:

Details, wie du mountest und die Rechte im gemounteten Verzeichnis.

Das fehlt noch.

Miq19

(Themenstarter)

Anmeldungsdatum:
17. Dezember 2023

Beiträge: 67

Mount mit

# Backup mount
//192.168.178.21/NetBackup /mnt/backup-mit-nas cifs vers=2.0,uid=1000,gid=1000,auto,rw,credentials=/home/micha/.smbcredentials 0 0

Rechte siehe Screenshot, User Micha is Mitglied von administrators.

Bilder

san04

Anmeldungsdatum:
19. Januar 2010

Beiträge: 1248

Ich habe deswegen in BackInTime die rsync-Parameter "--no-perms --no-group --no-owner" hinzugefügt, wie es empfohlen wurde - geändert hat das nichts, leider.

Die Empfehlung stammt offenbar von hier? bit-team/backintime/issues/988

Ein Bug, der nach wie vor offen und auch in 1.4.3 nicht behoben ist.

Schnappt man sich den von BiT generierten rsync-Befehl, sieht man, dass zusätzlich zu den oben genannten Optionen die Option --executability das Problem offenbar mit verursacht.

Das lässt sich leider in BiT nicht deaktivieren, aber überschreiben, indem du rsync noch eine Option mehr mitgibst:

--no-perms --no-group --no-owner --chmod=u+x

Damit werden alle Permissions identisch geändert und das Backup sollte erkennen, dass keine Änderungen notwendig sind.

ABER: Die Optionen oben sind schon ziemliches gehacke, da bei einem Restore diese Infos weg sind (je nachdem was du so sicherst schon ein recht unbrauchbares Backup). Mit dieser Zusatzoption wirds noch übler, da alle Dateien als ausführbar markiert werden, potentiell also ein Sicherheitsrisiko.

Ob du da mit ssh weiterkommst weiß ich nicht genau. Ich persönlich würde mir da lieber ein kleines Backupskript selbst bauen und auf die GUI verzichten: Skripte/Backup mit RSYNC Damit hast du alle rsync-Optionen selbst in der Hand.

Vielleicht kann man auch das Samba-Share über die smb.conf noch anders mounten?!

Berlin_1946 Team-Icon

Supporter, Wikiteam

Anmeldungsdatum:
18. September 2009

Beiträge: 10160

Hallo Miq19

was hältst du von der Idee, es mal mit der Back In Time (Abschnitt „PPA“) zu versuchen.

Die hat den Stand vom 2023-10-23.

Den rsync auseinanderzunehmen ist was für den Herrn Sisyphos.

Hier sind weitere BiT ppa

Miq19

(Themenstarter)

Anmeldungsdatum:
17. Dezember 2023

Beiträge: 67

Ja, ich denke, das werde ich mal versuchen.

Ich hatte heute mal komplett neu angefangen und nach der ersten Vollsicherung direkt noch einen Snapshot angestoßen: der war mit 108GB fast genau so groß wie die erste Sicherung, obwohl effektiv nichts am PC gemacht wurde (ich war gar nicht da).

Berlin_1946 Team-Icon

Supporter, Wikiteam

Anmeldungsdatum:
18. September 2009

Beiträge: 10160

Hallo Miq19,

es könnten doch auch zwei Probleme zusammenkommen.

  • BiT

  • NAS- Speicherung

Teste doch erstmal BiT mit einer USB- Festplatte und so eingestellt, dass es sich nur um wenige Dateien handelt.

  • Vollsicherung

  • plus eine Datei

  • Snapshot

Miq19

(Themenstarter)

Anmeldungsdatum:
17. Dezember 2023

Beiträge: 67

Mit der Version 1.4.1 vom bit-team-PPA wurde es massiv besser:

[I] Schnappschuss erstellen (rsync: sent 832,69K bytes  received 5,41K bytes  2,88K bytes/sec)
[I] Schnappschuss erstellen (rsync: total size is 108,02G  speedup is 128.885,97)
[I] 'rsync' beendet mit Code 0: Erfolgreich

832kB sind okay, denke ich.

san04

Anmeldungsdatum:
19. Januar 2010

Beiträge: 1248

san04 schrieb:

Ein Bug, der nach wie vor offen und auch in 1.4.3 nicht behoben ist.

Ich hatte hierfür erst 1.4.1 getestet und dann 1.4.3 aus dem github-Repo gebaut und keinen Unterschied gemerkt. Wundert mich jetzt, dass es sich in deinem Case besser verhält.

Edit: rsync Befehl hat sich nicht geändert?

Miq19

(Themenstarter)

Anmeldungsdatum:
17. Dezember 2023

Beiträge: 67

Das nervt jetzt langsam...

Die Snapshots sind immer etwa die 800K groß, weil das Teil immer noch Dateien wegen "cf...p....." kopiert. Bei näherem Hinsehen sind auch die rsync-Optionen im Aufruf identisch zu 1.2.1. Ich vermute, ich habe vorher an der falschen Stelle gekuckt wegen der Snapshotgröße, außerden habe ich einen Ordner aus den einzuschließenden Verzeichnissen entfernt.

Also habe ich mir mal die Python-Source angesehen, Und da gibt es in "tools.py" eine Stelle, an der ein Parameter "no_perms" aus der Konfiguration ausgewertet wird:

def rsyncPrefix(config,
                no_perms=True,
                use_mode=['ssh', 'ssh_encfs'],
                progress=True):
    """
    Get rsync command and all args for creating a new snapshot. Args are
    based on current profile in ``config``.

    Args:
        config (config.Config): current config
        no_perms (bool):        don't sync permissions (--no-p --no-g --no-o)

Leider wird die Funktion aber nicht mit einem konfigurierbaren Parameter aufgerufen, sondern in "snapshots.py" an drei Stellen mit einem fixen "no_perms=False".

Ich habe die mal auf "no_perms=True" geändert, aber die rsync-Befehlszeile bleibt dennoch unverändert.

san04

Anmeldungsdatum:
19. Januar 2010

Beiträge: 1248

Das kannst du doch leicht mit --no-perms in der GUI überschreiben. Dein Hauptproblem bleibt meiner Meinung nach die Option --executability. Wenn dann solltest du danach schauen, denke ich.

Miq19

(Themenstarter)

Anmeldungsdatum:
17. Dezember 2023

Beiträge: 67

san04 schrieb:

Das kannst du doch leicht mit --no-perms in der GUI überschreiben. Dein Hauptproblem bleibt meiner Meinung nach die Option --executability. Wenn dann solltest du danach schauen, denke ich.

Nein, das geht eben nicht. Die "--no-perms" werden nur zusätzlich angehängt, das vordere "--perms" bleibt drin.

Berlin_1946 Team-Icon

Supporter, Wikiteam

Anmeldungsdatum:
18. September 2009

Beiträge: 10160

Hallo in die Runde,

hier gibt es noch was, aber nur für 23.10 😢

https://git.sdxlive.com/PPA/about/

Ob ein Upgrade 22.04 auf 23.10 jetzt wirklich hilft?

Vllt ist es auch aus dem 23.10- Live- System zu testen.

Das habe ich noch gefunden:

Timeshift Snapshot missing