|
Benni11
Anmeldungsdatum: 14. April 2009
Beiträge: 211
Wohnort: Bayerisches Oberland - dort, wo andere Urlaub machen
|
Hallo Experten, wie kann man die von Evolution verwendete(n) Datenbank(en) komprimieren? Trotz Entfernen nicht mehr benötigter Kalendereinträge und eMails nimmt die programmeigene Sicherung "gewaltige" Ausmaße an: Begonnen habe ich mit ca. 40 MB, jetzt sind es innerhalb von 5 Monaten 200 MB geworden. Schon jetzt vielen Dank für euere Tipps. Es grüßt Benni11
|
|
schollsky
Anmeldungsdatum: 3. Dezember 2012
Beiträge: 1861
Wohnort: Ruhrgebeat
|
Hallo Benni11, Email ist grundsätzlich mal ein Textmedium - d.h. bei "normalen" Emails wirst Du nicht viel einsparen, wenn Du die löscht. Ganz anders sieht es aus mit den Anhängen: Bilder und insbesondere Videos o.ä. brauchen viel mehr Speicher. Da lohnt sich das Wegspeichern und Löschen schon eher. Grüße schollsky P.S. Mein über mehrere Jahre gewachsenes Postfach belegt Stand heute ca. 5 GB. Speicherplatz ist halt billig geworden mit der Zeit...
|
|
Benni11
(Themenstarter)
Anmeldungsdatum: 14. April 2009
Beiträge: 211
Wohnort: Bayerisches Oberland - dort, wo andere Urlaub machen
|
Hallo schollsky, das war eine schnelle Antwort, vielen Dank.
Beim Entfernen nicht mehr benötigter Daten in Evolution sind auch die Anhäbnge inbegriffen. Ich habe den Eindruck, dass Evolution auf die entfernten Inhalte nicht reagiert, sondern unbehelligt weiter in der einmal aufgelaufenen Größe bleibt. Die Möglichkeit für den Einsatz von shrink oder compress usf. ist nirgends zu finden, das Internet gibt hierzu auch nichts her. Es grüßt Benni11
|
|
Dimanche
Ikhayateam
Anmeldungsdatum: 20. Juli 2007
Beiträge: 2230
|
Hast du dir das hiesige Wiki angesehen. Da steht unter anderen, dass Evolution eine „Backup-Datenbank“ anlegt. Hier könnte die Lösung für dein Problem liegen.
|
|
Benni11
(Themenstarter)
Anmeldungsdatum: 14. April 2009
Beiträge: 211
Wohnort: Bayerisches Oberland - dort, wo andere Urlaub machen
|
Hallo Dimanche, auch dir vielen Dank für die Rückmeldung. Das Wiki war meine erste Anlaufstelle. Das Sichern und Wiedereinspielen in die bestehende Evolution-Installation ändert an der Größe leider nichts. Wenns nicht anders geht, werde ich Evolution neu installieren und das Backup aus der jetzigen Installation einspielen in der Hoffnung, dass die neu angelegten Ordner beim Befüllen mit den Backup-Daten nur die tatsächlich erforderliche Größe annehmen. Es grüßt Benni11.
|
|
shiro
Supporter
Anmeldungsdatum: 20. Juli 2020
Beiträge: 1466
|
Trotz Entfernen nicht mehr benötigter Kalendereinträge und eMails nimmt die programmeigene Sicherung "gewaltige" Ausmaße an: Begonnen habe ich mit ca. 40 MB, jetzt sind es innerhalb von 5 Monaten 200 MB geworden.
So, wie du "gewaltige" Ausmaße als Problem beschreibst, bin ich mir nicht sicher, ob du deinen Post ernsthaft meinst oder nur einen kleinen Joke hier schreiben willst. Oder meinst du 200 GB? Ich gehe mal davon aus, dass dein Post "ernsthaft" gemeint ist. Leider gibst du keinerlei Informationen über dein "Evolution" Environment (welche Installationsart, welche Version, wie viele Mail-Konten mit welchen Protokollen). Da es den Anschein hat, dass sehr wenig Wissen über Evolution vorhanden ist, hier ein paar Trivialitäten: Evolution speichert die Daten in unterschiedlicher Form abhängig davon, ob du die Daten lokal (wie bei POP3 oder MHDIR) z.B. im Ordner-Zweig "Auf diesem Rechner" oder Server zentriert (IMAP,Exchange,Google o.Ä) gecached halten willst. Mail-Daten werden in der Regel gemäß "maildir" Spezifikation abgelegt als Text. Natürlich gibt es Datenbanken, die der "sqlite3" Spezifikation genügen. Kalender und Adressen werden je nach Quelle gemäß RFC Spezifikation vorgehalten. Bei Server-Anbindungen sind die Daten in Datenbanken gecached abgelegt, die ebenfalls die RFC Daten vorhalten. Wo du wie viel Plattenplatz belegst, kann man ermitteln, wenn du deine verwendete Installationsart und Version preis gibst.
Wenns nicht anders geht, werde ich Evolution neu installieren und das Backup aus der jetzigen Installation einspielen in der Hoffnung, dass die neu angelegten Ordner beim Befüllen mit den Backup-Daten nur die tatsächlich erforderliche Größe annehmen.
Was soll der Unsinn? Mit der Funktion "Evolution-Daten sichern ..." erstellst du eine tgz Sicherung der statischen Daten (Auf diesem Rechner). Alle gecachten Daten werden von den Servern neu nachgeladen. Da wirst du keinen Unterschied zur aktuellen Platten-Nutzung feststellen. Evolution sorgt normalerweise selbst für das Housekeeping, wenn es sinnvoll ist. Wenn du der Meinung bist, du müsstest die Datenbanken verkleinern, kannst du bei wirklich herunter gefahrenem Evolution ein "VACUUM" machen. Es wird dir aber erfahrungsgemäß wenig einbringen. Daten, die du sonst löscht, werden auf Dateiebene durch Evolution bereinigt. Ein Versuch, mit wenig Halbwissen hier "aufzuräumen" oder zu Komprimieren, wird in der Regel mit einem nicht mehr funktionierenden System belohnt und ist daher nicht zu empfehlen.
|
|
Benni11
(Themenstarter)
Anmeldungsdatum: 14. April 2009
Beiträge: 211
Wohnort: Bayerisches Oberland - dort, wo andere Urlaub machen
|
Hallo shiro, ich will nicht trollen, sondern habe nach einer Möglichkeit gesucht, die Evolution-Datenbanken für die fast tägliche Sicherung zu verkleinern.
Derzeit eingesetzt ist die flatpak-Version (3.60.2 by Flathub.org). Bei der Backup-Größe habe ich mich nicht vertippt: es sind 200 MB (evolution-backup-20260620.tar.gz 200,9 MB). Ein eMail-Account läuft unter POP3 und speichert demzufolge "Auf diesem Rechner", die beiden anderen Accounts haben IMAP. Evolution wird rein privat als Single-Lösung genutzt, also keine Serveranbindung. EMails werden weitaus überwiegend im Text-Format abgefasst. Hintergrund meines ursprünglichen Wunsches nach Komprimierung: Jahraus, jahrein bewegte sich die Größe des Backups bei 40 MB, bis sich ein längerer eMail-Verkehr mit umfangreichen Anhängen entwickelte. Obwohl dieser eMail-Verkehr nun ausgegliedert und in Evolution gelöscht ist, bleibt das programmeigene Backup bei den geschilderten 200 MB. Derartige Größen kenne ich bisher lediglich von der früheren Bürotätigkeit mit dem als opulent bekannten Outlook (outlook.pst rd. 270 MB), wobei ich dort zusätzlich auch die Kalendereinträge mit Anhängen versehen habe (Evolution bietet dies Möglichkeit nicht). Deinen Ausführungen zufolge bringen Nutzereingriffe wenig bis gar nichts, Evolution kümmert sich selbst ums "Housekeeping", Platz ist auf den Speichermedien auch bei kurzen Sicherungsabständen genügend vorhanden - also lasse ich alles so, wie es ist. Vielen Dank für deine aufklärenden Worte. Es grüßt Benni11
|
|
schwarzheit
Supporter
Anmeldungsdatum: 31. Dezember 2007
Beiträge: 9255
|
|
|
shiro
Supporter
Anmeldungsdatum: 20. Juli 2020
Beiträge: 1466
|
Hallo Benni11, danke für die Informationen, sie helfen mir tatsächlich besser zu verstehen, worum es geht. Du scheinst die eingebaute Funktion "Evolution-Daten sichern ..." für ein Backup zu verwenden. Das kann man machen, hat aber den Nachteil, dass du stets eine relativ große ".tar.gz" Datei erhältst (Bei mir ist die z.B. etwas über 6GB groß). Wenn du demnach ein tägliches "Backup" ziehst, sammeln sich etliche tar-Archive mit einem nicht zu vernachlässigenden Platzbedarf an. Bei jeder Datensicherung wird dazu auch Evolution komplett herunter gefahren und ist in dieser Zeit für dich nicht nutzbar. Hier würde ich dir eine Datensicherung mittels "rsync" empfehlen (aber dazu später). Um festzustellen, wo du die großen Datenvolumen gespeichert werden, die sich bei dir per gzip als 200MB darstellen, macht es Sinn, zu ermitteln, in welchen Bereichen du viel Speicherplatz benötigst. Da du die Version 3.60.2 by Flathub.org einsetzt (gut), sind die per tar gesicherten Daten im Wesentlichen unter dem Verzeichnis "~/.var/app/org.gnome.Evolution" abgelegt. Aus diesem Grund ist es hilfreich, die Ausgabe der folgenden Befehle in einem codeblock auszugeben:
cd ~/.var/app/org.gnome.Evolution
du -h -d 1 .
du -h -d 1 data/evolution
du -h -d 1 data/evolution/mail
du -h -d 1 data/evolution/mail/local
Erfahrungsgemäß hat das "data/evolution" Verzeichnis den größten Platzbedarf. Daher bekommt man mit dem 2. "du" Befehl eine kleine Übersicht, ob bei dir "mail", "calender" oder ein anderer Datentyp überproportional Speicher belegt. Mit dem 4. "du" Befehl wird dir die lokale Mail-Ordner Belegung angezeigt (Achtung, kann lang sein.) Wenn da private Texte stehen, ersetze diese Zeichenketten bitte durch z.B. "x".
Diese Ordner werden mittels des "tar" Befehls z.B. über "Evolution-Daten sichern ..." gesichert. Wenn wir da Ordner mit extremer Größe sehen, können wir dort näher nachschauen. In der Regel ist dort nur das jeweilige "cur" Verzeichnis belegt. Die größten Mails kannst du dir mittels
ls -ashrS ~/.var/app/org.gnome.Evolution/mail/local/.My-Folder.Subfolder/cur/ | tail -10 anzeigen lassen. Die für die Mail-Ordner relevante Datenbank liegt dann unter "~/.var/app/org.gnome.Evolution/mail/local/folders.db" und bildet mit Tabelle "folders" die "Übersetzung" des Folder-Namens in die dargestellte Zeichenkette mit "/" als Trennzeichen für Unterordner. Die "messages_nn" Tabellen mappen den RFC Dateinamen auf einige Mail-Header Informationen (z.B. subject, mail_to, mail_from usw). Sollte sich bei dir der "calendar" als außergewöhnlich groß zeigen, kann man in den dortigen Datenbanken noch nachschauen. Aber ein Schritt nach dem anderen. Zu dem oben erwähnten "Backup" per rsync: Da ich lokal auf dem Telefon die Evolution Daten auch lokal auswerten möchte, sichere ich alle eMails eines Ordners in eine .mbox.gz Datei. Sollte sich hier etwas geändert haben, sichert "rsync" diesen Ordner als .mbox.gz Datei in ein Sicherungsverzeichnis, das auf das Smartphone gespiegelt wird. Mittels "mutt" kann ich dann auf dem Telefon alle Daten mit den Anhängen suchen, lesen und anzeigen lassen. Wenn du "mutt" nicht kennst, lohnt sich aber der Einarbeitungsaufwand wahrscheinlich nicht. Die für mich relevanten Kalender und Adressbuch Daten ziehe ich als ics und vcd aus den Datenbanken und sichere sie als gz Dateien ebenfalls über rsync. Wenn man nicht solch erweiterte Anforderungen hat, kann man auch ganz einfach den "mail" Zweig per "rsync" sichern.
|
|
Benni11
(Themenstarter)
Anmeldungsdatum: 14. April 2009
Beiträge: 211
Wohnort: Bayerisches Oberland - dort, wo andere Urlaub machen
|
Hallo shiro, vielen Dank, dass du dranbleibst.
Ich war unterwegs, deshalb leider erst jetzt die gewünschten Daten. vs@ZBook:~$ cd ~/.var/app/org.gnome.Evolution
vs@ZBook:~/.var/app/org.gnome.Evolution$ du -h -d 1 .
161M ./cache
56K ./.ld.so
4,0K ./sandbox
8,0K ./.local
1,1M ./config
263M ./data
425M .
vs@ZBook:~/.var/app/org.gnome.Evolution$ du -h -d 1 data/evolution
8,0K data/evolution/storage
12K data/evolution/mediakeys
396K data/evolution/addressbook
8,0K data/evolution/deviceidhashsalts
3,7M data/evolution/calendar
16K data/evolution/tasks
259M data/evolution/mail
56K data/evolution/memos
263M data/evolution
vs@ZBook:~/.var/app/org.gnome.Evolution$ du -h -d 1 data/evolution/mail
112K data/evolution/mail/986a9e169cdceebaff17c48efe9fb2426fa769ea
24K data/evolution/mail/rss
259M data/evolution/mail/local
4,0K data/evolution/mail/trash
48K data/evolution/mail/vfolder
259M data/evolution/mail
vs@ZBook:~/.var/app/org.gnome.Evolution$ du -h -d 1 data/evolution/mail/local
116K data/evolution/mail/local/cur
4,0K data/evolution/mail/local/new
256M data/evolution/mail/local/.Sent
16K data/evolution/mail/local/.Drafts
16K data/evolution/mail/local/.Templates
2,3M data/evolution/mail/local/.Archivieren
16K data/evolution/mail/local/.Outbox
4,0K data/evolution/mail/local/tmp
259M data/evolution/mail/local
vs@ZBook:~/.var/app/org.gnome.Evolution$ Und noch die 10 größten Dateien:
vs@ZBook:~$ ls -ashrS ~/.var/app/org.gnome.Evolution/data/evolution/mail/local/.Sent/cur/ | tail -10
12M 1773853091.28_212.ARCH:2,S
13M 1766495861.59_188.ARCH:2,S
13M 1770124980.28_201.ARCH:2,S
15M 1773089110.59_206.ARCH:2,S
15M 1773232470.59_207.ARCH:2,S
16M 1732272163.28_137.ARCH:2,S
17M 1774212837.59_215.ARCH:2,S
22M 1773088913.59_205.ARCH:2,S
23M 1773232664.28_208.ARCH:2,S
29M 1654702096.57223_46.vs-ZBook:2,S Wenn ich meine Backup-Größen mit deiner oder gar der von @schollsky vergleiche, habe ich tatsächlich ein "mickriges" Problem. Aber wie du anmerkst, kommen bei kurzfristigen Sicherungen über die programmeigene Backup-Prozedur wöchentlich immerhin ebenfalls > 1GB zusammen. Es grüßt Benni11
|
|
shiro
Supporter
Anmeldungsdatum: 20. Juli 2020
Beiträge: 1466
|
Ok, Evolution belegt 161MB (38%) im cache (z.B. IMAP Konten) und 263MB (62%) im data (z.B. POP und eigene Ablage). Bei der detaillierteren Betrachtung des data Zweiges zeigt sich, dass mit 259MB (61%) der mail Zweig erwartungsgemäß den meisten Platz im Ordner local belegt. Deine "Datensicherung" ("Evolution-Daten sichern ...") beinhaltet diesen data Zweig. Was mich allerdings wundert ist, dass die Komprimierung dieser 263MB ein Ergebnis von 200MB haben soll. Entweder sind diese Daten mit gzip schlecht komprimierbar oder in diesem Fall wird das tar.gz Archive keine 200MB groß. Nun zeigt sich, dass dieser Platz durch den Ordner Sent verbraten wird. Die dort liegenden 10 größten Mails sind alle größer als 10MB. Das ist aus meiner Sicht etwas merkwürdig, da du beschrieben hattest, dass du nicht mehr benötigte eMails bereits gelöscht hast. Offenbar hast du den Sent Ordner hier nicht näher betrachtet, oder? Mails, die größer als 10MB sind, sind schon ungewöhnlich, da einige Mail-Provider hier ein Limit von 5MB setzen. Freu dich, wenn das Limit bei deinem Provider höher gesetzt ist. Aber, wenn du diese Mails im Sent Ordner brauchst, müssen diese Daten natürlich gesichert werden. Hierzu noch eine kleine Information: Wenn du Attachments deiner Mail beifügst (egal ob Video, Bilder, usw) werden diese als binäre Daten im base64 Format gespeichert. So wird aus einem 20MB Attachment eine Speicheranforderung von ca 30MB (->base64). Eine kleine Merkwürdigkeit ist die Mail "1654702096.57223_46.vs-ZBook:2,S" vom 08.06.2022 17:28:16. Woher stammt diese? Alle anderen Mails stehen in Relation zum Rechner "ARCH" nur diese weicht ab. Eventuell ein Rest von einer früheren Installation auf einem anderen Rechner. Eine alternative Sicherung deiner Daten hatte ich ja bereits mit "rsync" angedeutet. Wenn du täglich ein Full-Backup deines Mail Environments machen möchtest, bietet sich an, in deinem Sicherungszweig ein neues Verzeichnis zu erstellen und die Daten des Vortags als Hardlinks auf den aktuellen Tag zu kopieren (cp -al) und dann mittels rsync die aktuellen Daten auf das Backup Verzeichnis zu sichern (z.B. rsync -av --delete --modify-window=2 /home/$USER/.var/app/org.gnome.Evolution/ $Backup/). Das geht im laufenden Betrieb sehr schnell und es werden nur geänderte Daten gesichert. Das Risiko einer nicht konsistent gesicherten Transaktionsklammer würde ich an deiner Stelle durchaus eingehen, da Evolution beim Neustart eventuelle Inkonsistenzen glatt bügelt. Wenn du hier mehr Sicherheit haben willst, wird es komplizierter. Die Daten liegen im Backup Verzeichnis wegen der Hardlinks auch physikalisch nur ein Mal vor.
|
|
Benni11
(Themenstarter)
Anmeldungsdatum: 14. April 2009
Beiträge: 211
Wohnort: Bayerisches Oberland - dort, wo andere Urlaub machen
|
Hallo shiro,
Evolution wird in übereinstimmender Version wechselweise auf einem Notebook unter UBUNTU und einem weiteren Notebook unter ARCH genutzt, die Aktualisierung des jeweiligen Rechners geschieht mit der Programmfunktion "Datei | Evolution-Daten wiederherstellen..".
Ich habe stichprobenweis die "Monsterdateien" untersucht: Diese sind zum überwiegenden Teil schon seit längerer Zeit auf eine externe Festplatte ausgelagert und haben samt den Anhängen einen Umfang von bis zu 3-4 MB. Rätselhaft bleibt, dass diese Dateien programmseitig zwar nicht mehr im Zugriff sind, aber dennoch im Evolution-Verzeichnis auftauchen. Dein Hinweis auf bas64 macht das Anwachsen verschiedener Dateien verständlich: Um den Mailverkehr samt Anhängen "in einem Stück" im Zugriff zu haben, sind einige eMails samt Anhängen wiederholt hin- und hergeschickt worden. Mit deinem OK werde ich nach einem Backup diesen bereits ausgelagerten eMail-Verkehr im Evolution-Bestand löschen. Schlankes rsync-Backup: Ich versuche, deine Anregungen in einSkript zu packen. Dann wird das Backup ein Klacks. shiro, vielen Dank für deine Hilfe. Es grüßt Benni11
|
|
shiro
Supporter
Anmeldungsdatum: 20. Juli 2020
Beiträge: 1466
|
Rätselhaft bleibt, dass diese Dateien programmseitig zwar nicht mehr im Zugriff sind, aber dennoch im Evolution-Verzeichnis auftauchen.
Das ist nicht rätselhaft. Hintergrund: Der Ordner "local/.Sent" hat bei dir im Zweig "Auf diesem Rechner" eventuell den Namen "Verschickt" und ist für den statischen Zweig ein zwingend existierender Ordner. Wenn du mit POP Mails verschickst, landen die gesendeten Mails in diesem Ordner. Aber auch wenn du mit anderen Protokollen wie z.B. IMAP Mails verschickst und dein Provider Probleme hat, können die versendeten Mails als Fallback in diesem Ordner landen. (Sorry für die laxe und nicht ganz korrekte Ausdrucksform beim Senden von POP und IMAP, das jeweils ja SMTP verwendet aber bei Ordnern sich unterschiedlich verhält.) Nun kommt das Spannende: Im statischen Zweig "Aus diesem Rechner" werden Mails durch einfaches Löschen (Klick auf die Mülltonne oder Drücken der Entf-Taste) nicht physikalisch gelöscht sondern nur zum "Löschen markiert". Es gibt in diesem statischen Zweig einen virtuellen Ordner "Papierkorb", in dem die "gelöschten" Mails angezeigt oder wieder reaktiviert werden können. (Ich umgehe jetzt das globale Thema der virtuellen Ordner, da dies eventuell zu Verwirrungen führen kann). In diesem Ordner "Papierkorb" kannst du die Mails dann wirklich (physikalisch) löschen. Man kann die gelöschten Mails sich im Ursprungsordner (z.B. Sent oder Verschickt) natürlich auch anzeigen lassen, wenn du im Menue unter "Ansicht" → "Gelöschte Nachrichten anzeigen" einen Haken setzt. Dann werden die gelöschten Mails mit durchgestrichenem Text angezeigt. Das physikalische Löschen dieser zum Löschen markierten Mails kannst du über die "Expunge" Funktion (Strg-E) erreichen oder im Menue unter "Ordner" → "Säubern" auswählen.
|
|
shiro
Supporter
Anmeldungsdatum: 20. Juli 2020
Beiträge: 1466
|
Benni11 schrieb: Derartige Größen kenne ich bisher lediglich von der früheren Bürotätigkeit mit dem als opulent bekannten Outlook (outlook.pst rd. 270 MB), wobei ich dort zusätzlich auch die Kalendereinträge mit Anhängen versehen habe (Evolution bietet dies Möglichkeit nicht).
Oops, bitte entschuldige, dass ich den oben zitierten Satz überlesen hatte. Natürlich kannst du bei Evolution ALLES im statischen Zweig "Auf diesem Rechner" in den Ordnern deiner Wahl neben den eMails speichern, ähnlich, wie du es mit den .pst Dateien von Outlook auch machen konntest. Die 2GB Grenze der pst Dateien gilt bei Evolution natürlich nicht. Man muss nur wissen, wie man es macht. Solltest du daher Interesse haben, wie man Kalendereinträge (.ics, Telefonate, Adressen, Dateien usw) im statischen Zweig ablegt und danach suchen kann, mach einen neuen Post auf, damit dies erläutert werden kann.
|