Hallo!
Gibt es eine Möglichkeit die tar-Performance zu optimieren? Dies speziell bei vielen kleinen Dateien?
Tar selbst scheint der Flaschenhals zu sein, bei der unserer Backup-Erstellung mit tar, pigz und ssh.
Danke
Anmeldungsdatum: Beiträge: 31 |
Hallo! Gibt es eine Möglichkeit die tar-Performance zu optimieren? Dies speziell bei vielen kleinen Dateien? Tar selbst scheint der Flaschenhals zu sein, bei der unserer Backup-Erstellung mit tar, pigz und ssh. Danke |
Anmeldungsdatum: Beiträge: 7658 |
Nicht wirklich.
Wenns nicht gerade lokales Netzwerk ist dann wäre eigentlich normal eher SSH der Flaschenhals. Bei vielen kleinen Dateien hast du aber auch ein Syscall-Overhead (viele kleine Reads und bei HDDs für jede Datei ein Seek) und viele Dateisysteme können nicht wirklich gut mit Winzdateien. Wenn du mit SSH eine Pipe meinst, klebe mal noch an beiden Enden einen Pipebuffer zwischen. |
Projektleitung
Anmeldungsdatum: Beiträge: 12829 |
Was
Woran machst Du das fest, dass Als Alternative kann man auch noch PS: Eine Sache fällt mir noch ein: falls Du viele große Dateien mit "Leerraum" hast, könnte Option "-S" etwas bringen. |
Ehemaliger
Anmeldungsdatum: Beiträge: 17449 |
Welche Datenmenge? Wo werden die Daten wie übertragen? Was für Netzwerkanbindung falls Netzwerk im Spiel ist? Gibt mal ein konkretes Beispiel. Generell:
mfg Stefan |