Bei RAM-Preisen von vielleicht 30€ pro Riegel würde ich mir keine Gedanken über ein vielleicht bald nicht mehr unterstütztes 32bit-System machen. Abgesehen von den bereits genannten Einschränkungen nutzt man auch nicht alle Möglichkeiten moderner CPU's, was die Last einfach nur verlagert.
Wenn 64bit geht, würde ich das immer vorziehen. Das erwähnte zram ist übrigens brauchbar und bei so wenig RAM schon "Pflicht".