Also ich merke auch mit 2 GB durchaus einen Unterschied zwischen Gnome und Xfce. Allerdings sollte man dazu nicht den vollen Xubuntu-Desktop verwenden, denn der liefert ziemlich viel Gnome-Zeug mit, so dass Xubuntu am Ende kaum schlanker als Ubuntu ist. Da sollte man selbst Hand anlegen. Also unnötige Dienste entfernen, Programme mit Gnome-Abhängigkeiten ersetzen, Xfce nicht beim Start die Gnome-Laufzeitumgebung laden lassen, usw.
Oder andersrum: Man fängt klein an und macht eine Minimalinstallation + xfce4 + xfce4-goodies (NICHT xubuntu-desktop). Und danach dann schrittweise nur die Programme und Dienste installieren, die man braucht.
Wenn es noch schneller als Xfce sein soll, könnte auch LXDE eine interessante Möglichkeit sein. Das ist wirklich sehr schlank, und bietet trotzdem einiges.
Generell sollte dein Rechner aber auch mit Gnome gut genug laufen. Auch hier kann man praktisch das Gleiche machen: Hintergrunddienste entrümpeln, Programme durch schlanke Varianten ersetzen, eventuell Minimalinstallation + Gnome (nicht ubuntu-desktop). Das sollte einiges bringen. Gnome kann eigentlich ziemlich schnell sein, wenn man ein bisschen Ballast abwirft. Ach ja: Falls du Desktop-Effekte (Compiz-Fusion) benutzt, wäre das eine der ersten Sachen, die ich mal testweise abschalten würde.
Was schlanke Alternativen angeht, kann ich auch Abiword empfehlen, das ist ziemlich gut. Für PDFs verwende ich mittlerweile epdfview, das läuft sehr flüssig, und hat bisher alle PDFs korrekt angezeigt. Eventuell möchtest du einen schlankeren Browser ausprobieren. Für Gnome ist Epiphany recht gut, Kazehakase ist auch recht flott. Kommt aber darauf an, was für Browser-Erweiterungen du benötigst, da bietet Firefox eben doch die größte Auswahl. Ansonsten kannst du ja mal posten, was für Programme du sonst so verwendest - vielleicht lassen sich noch mehr Alternativen finden.