ubuntuusers.de

tar backup, erstellte dateien zu klein :-(

Status: Gelöst | Ubuntu-Version: Xubuntu 11.04 (Natty Narwhal)
Antworten |

Valentin

Anmeldungsdatum:
7. Juni 2006

Beiträge: 14

Wohnort: München

Hi ☺

ich habe ein tar basiertes backupscript auf meinem server am laufen:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
root@wiki:/etc/cron.daily# cat backup-tar-daily-incremental
#!/bin/bash
/bin/mount /backup
sleep 5
/usr/bin/touch /root/backup/start
DAY=$(date +"%a")
LAST=$(cat /root/backup/last-weekly.txt)
NOW=$(date +"%Y-%m-%d")
i=$(date +"%Hh%Mm%Ss")
FILE="wiki-incremental-backup-$NOW-$i.tar.gz"


if [ "$DAY" == "Sun" ]
then
echo "doing full backup"
FILE="wiki-full-backup-$NOW-$i.tar.gz"
/bin/rm -rf /root/backup/incremental-weekly.txt
/bin/tar -czf /var/www/backup.tar.gz --exclude=/var/www/backup.tar.gz --exclude=/proc --exclude=/lost+found --exclude=/sys --exclude=/var/www/backups --exclude=/mnt --exclude=/media --exclude=/dev --exclude=/backup --exclude=/var/run --exclude=/tmp --exclude=/home/valentin/.gvfs --exclude=/cdrom --exclude=/backup -g /root/backup/incremental-weeklytxt /
/bin/cp /var/www/backup.tar.gz /backup/$FILE
else
echo "doing incremental backup"
echo $FILE >> /root/backup/last-daily.txt
/bin/tar -czf /var/www/backup.tar.gz --exclude=/var/www/backup.tar.gz --exclude=/proc --exclude=/lost+found --exclude=/sys --exclude=/var/www/backups --exclude=/mnt --exclude=/media --exclude=/dev --exclude=/backup --exclude=/var/run --exclude=/tmp --exclude=/home/valentin/.gvfs --exclude=/cdrom --exclude=/backup -g /root/backup/incremental-weeklytxt /
/bin/cp /var/www/backup.tar.gz /backup/$FILE
fi

/usr/bin/touch /root/backup/stop
sleep 5
/bin/umount /backup
sleep 5
exit 0
root@wiki:/etc/cron.daily#

Nun sind die erstellten backups etwas klein im vergleich zur summe der zu sichernden daten:

1
2
3
4
root@wiki:/backup# ls -l wiki-incremental-backup-2011-06-29-13h11m48s.tar.gz
-rwxrwxrw-+ 1 1005 crontab 4662267539 2011-06-29 13:42 wiki-incremental-backup-2011-06-29-13h11m48s.tar.gz
root@wiki:/backup# ls -lh wiki-incremental-backup-2011-06-29-13h11m48s.tar.gz
-rwxrwxrw-+ 1 1005 crontab 4,4G 2011-06-29 13:42 wiki-incremental-backup-2011-06-29-13h11m48s.tar.gz

verglichen mit dem output von "du -s" mit den gleichen --exclude's:

1
2
3
4
5
6
7
root@wiki:/backup# du -s --exclude=/var/www/backup.tar.gz --exclude=/proc --exclude=/lost+found --exclude=/sys --exclude=/var/www/backups --exclude=/mnt --exclude=/media --exclude=/dev --exclude=/backup --exclude=/var/run --exclude=/tmp --exclude=/home/valentin/.gvfs --exclude=/cdrom --exclude=/backup /
du: Zugriff auf â/home/valentin/.gvfsâ nicht möglich: Keine Berechtigung
6708432 /
root@wiki:/backup# du -sh --exclude=/var/www/backup.tar.gz --exclude=/proc --exclude=/lost+found --exclude=/sys --exclude=/var/www/backups --exclude=/mnt --exclude=/media --exclude=/dev --exclude=/backup --exclude=/var/run --exclude=/tmp --exclude=/home/valentin/.gvfs --exclude=/cdrom --exclude=/backup /
du: Zugriff auf â/home/valentin/.gvfsâ nicht möglich: Keine Berechtigung
6,4G    /
root@wiki:/backup#

Daher stellt sich mir die frage, ob tar wirklich ein komplettes backup macht und ich auf der sicheren seite bin. Oder ob einfach was fehlt. Wenn ja, was fehlt und wie kann ich's reparieren?

Für eure hilfe wäre ich sehr dankbar!

Schöen Grüße

Valentin

nbkr

Avatar von nbkr

Anmeldungsdatum:
29. Oktober 2007

Beiträge: 1936

Wohnort: Aschaffenburg

Durch den Schalter "-z" aktivierst du ja die Komprimierung. Je nach dem was da gesichert wird kann die Dateigröße schon unterschiedlich werden. Den Inhalt eines TAR Archivs kannst du dir über den Schalter -t anzeigen lassen. Damit könntest du die Inhalte vergleichen. Alternativ kannst du -z auch einmal weglassen um zu sehen wie große die Dateien dann werden.

Valentin

(Themenstarter)

Anmeldungsdatum:
7. Juni 2006

Beiträge: 14

Wohnort: München

Um mehr informationen zu erhalten habe ich nun fehlermeldungen in eine text datei schreiben lassen:

1
2
3
4
5
6
7
root@wiki:~/backup# cat backup-error.log
root@wiki:~/backup# ./backup-tar-daily-incremental
doing full backup
/bin/tar: Entferne führende â/â von Elementnamen
/bin/tar: Entferne führende â/â von Zielen harter Verknüpfungen
/bin/tar: /var/www/data/media/Servuze/Drei/Vier/Verschachtelt/Software/Malprog/Malprog2008A.iso: Kann open nicht ausführen: Die Ressource ist zur Zeit nicht verfügbar
/bin/tar: Beende mit Fehlerstatus aufgrund vorheriger Fehler

Daraufhin wollte ich wissen ob die Datei in verwendung ist:

1
2
3
4
root@wiki:~/backup# lsof |grep Malprog
lsof: WARNING: can't stat() fuse.gvfs-fuse-daemon file system /home/valentin/.gvfs
      Output information may be incomplete.
root@wiki:~/backup#

–> nein .. hmm evtl passen die rechte nicht:

1
2
3
4
5
6
root@wiki:/var/www/data/media/Servuze/Drei/Vier/Verschachtelt/Software/Malprog# ls -larhot
insgesamt 235M
-rwxr--r-- 1 www-data 235M 2010-02-23 10:21 Malprog2008A.iso
drwxr-xr-x 2 www-data 4,0K 2011-06-17 11:11 .
drwxr-xr-x 7 www-data 4,0K 2011-06-17 11:19 ..
root@wiki:/var/www/data/media/Servuze/Drei/Vier/Verschachtelt/Software/Malprog#

–> passt auch, das script läuft als root. Daher dürfte das kein problem darstellen.

danke nbkr für die schnelle Antwort!

Habs ohne "-z" versucht und es funktioniert! Denke gerade darüber nach evtl eine andere kompremierung separat einzusetzten. lzma scheint mir sehr gut geeignet.

Was hältst du von lzma... bzw wie kompremierst du / Ihr?

Schöne Grüße Valentin

Valentin

(Themenstarter)

Anmeldungsdatum:
7. Juni 2006

Beiträge: 14

Wohnort: München

So, ohne "-z" kompression hat die datei 6,2gig:

1
2
root@wiki:/var/www# ls -lahtro /backup/
-rwxrwxrw-+  1 1005 6,2G 2011-07-01 13:18 wiki-full-backup-2011-07-01-13h07m02s.tar.gz

das kommt hin. Nun teste ich mal gzip vs. lzma:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
root@wiki:/var/www# time gzip backup.tar

real    21m38.241s
user    19m47.250s
sys     1m13.885s
root@wiki:/var/www# ls -alhtor backup.tar*
-rw-r--r-- 1 root 4,4G 2011-07-01 13:14 backup.tar.gz
root@wiki:/var/www# gunzip backup.tar.gz
root@wiki:/var/www# ls -alhtor backup.tar*
-rw-r--r-- 1 root 6,2G 2011-07-01 13:14 backup.tar
root@wiki:/var/www# time lzma backup.tar
^C
real    11m19.303s
user    11m8.854s
sys     0m2.416s

root@wiki:/var/www# echo 200mb in 11 min .. das dauert zu lange.
200mb in 11 min .. das dauert zu lange.
root@wiki:/var/www# time lzma -1 backup.tar
^C

real    7m22.109s
user    7m17.423s
sys     0m3.260s
root@wiki:/var/www# echo 470mb nach 7:22 min ... immernoch zu langsam
470mb nach 7:22 min ... immernoch zu langsam
root@wiki:/var/www# rzip backup
backups/    backup.tar
root@wiki:/var/www# rzip backup
backups/    backup.tar

root@wiki:/var/www# time rzip -L 0 backup.tar

real    8m58.855s
user    7m4.459s
sys     0m47.163s
root@wiki:/var/www# ls -alrhto backup.tar.rz
-rw-r--r-- 1 root 5,4G 2011-07-01 13:14 backup.tar.rz

––> rzip aber nur mit "-0" oder "-L 0" bringt gute kompression bei hoher geschwindigkeit. Wenn ihr mir nicht glaubt, glaubt dem mann mit Schnurrbart und lest diesen artikel: http://www.linuxjournal.com/article/8051

leider ist rzip nicht in tar integriert .. bringt also nix :-/

was ist denn in tar:

1
2
3
4
5
6
7
8
9
     -j, --bzip2

     -J, --xz

     --lzip

     --lzma

     --lzop
Antworten |