Paar Angaben:
1. Anwendungsbereiche
Lokale KI-Anwendungen, insbesondere Text2Text LLMs per llama.cpp, Bildgenerierung per ComfyUI (Flux Dev, Kontext, Krea, Qwen-Image), Text/Bild zu Video (Wan), auch anderes, das aber nicht so hohe Anforderungen an die Hardware hat (Whisper.cpp zum Transkribieren/Übersetzen von Audio)
Virtualisierung, Gäste werden meistens Linuxdistributionen sein
Videobearbeitung mit Kdenlive, ich schätze aber, dass eine KI-Maschine dafür auch automatisch halbwegs geeignet ist
Bildbearbeitung per Gimp, bisschen Office
2. Sonstiges
Preisobergrenze: 3500 Euros
Gebrauchtkauf: kommt in Frage, nach etwas Recherche könnten alte Server mit viel Mehrkanal-Arbeitsspeicher interessant sein
Kommt Zusammenbauen in Frage: Ja, besser wenn der Händler das anbietet, hab zuletzt 2007 einen Rechner zusammengebaut
Ubuntuversion: aktuelles Kubuntu (Nicht LTS), ist auch möglich, dass ich da Tuxedo OS laufen lasse, aber wo Kubuntu läuft, läuft meistens auch dieses
Wird weiteres Zubehör benötigt: Ja, Monitor, Maus, Tastatur, da würde ich aber günstiges holen, gerade Maus und Tastatur
Vorhandene Komponenten: Ich nutze derzeit ein Notebook, daher nein. Lediglich eine externe Samsung SSD (4 TB) könnte ich dort auch anschließen
hohe Priorität: energiesparsam im Idlebetrieb, einzelne Komponenten sollten nicht überteuert sein, Nvidia RTX 5090 - etwas heftig
Aktuell führe ich Text2Text LLMs bis 72 Milliarden Parameter auf einem Notebook ohne dezidierte Grafikkarte, aber mit 64 GB relativ langsamem (3200er) RAM aus, drum ist alles bisschen langsam. Per Qwen-Image (5-K Quantisierung) dauert ein Bild um die 4 Stunden, hab die CPU (Ryzen 5700u) aber auch auf 15 Watt limitiert, da 35 Watt nur maximal 20% mehr Performance bei den von mir eingesetzten Anwendungen bringen.
Warum ich das mit den gebrauchten Systemen mit viel Mehrkanal-RAM erwähnt habe ist, weil MoE Modelle wie GLM-4.5 zwar viel RAM benötigen (355 Milliarden Parameter mit 32 Milliarden aktiven), aber durch die MoE Architektur trotzdem recht flott laufen. Problem: Text/Bild zu Video Modelle, zumindest die, welche ich bisher erfolglos testete, brauchen zwingend eine geeignete Grafikkarte, CUDA (also Nvidia-Karten) scheint am besten unterstützt zu werden. Im Zweifelsfall wären mir z.B. 512 GB schneller RAM wichtiger als z.B. 32 GB Videoram, und ich würde auf Text2Video und andere Anwendungen, die eine dezidierte Grafikkarte verlangen, weiter verzichten.
So Systeme gibts auch: https://www.nvidia.com/de-de/products/workstations/dgx-spark/
Dort können die 128 GB (abzüglich dem, was das System braucht) wohl als Video-RAM (unified memory) angesprochen werden, CUDA geht auch, Speicherbandbreite: 273 GB/s. 128 GB klassischer Video-RAM sind eher unbezahlbar derzeit.
Die eigentliche Frage ist auch, ob ich bei meinen Anforderungen jetzt ein System zusammenstellen oder besser 1, 2, 3 Jahre warten soll, bis mehr Auswahl an Rechnern für lokale KI-Anwendungen auf dem Markt ist? Mit dem aktuellen Notebook geht auch schon viel, die Bildgenerierung läuft dann einfach auch mal über Nacht. Und alle 2, 3 Jahre einen neuen Rechner in der Preisklasse zu kaufen ist nicht drin.
Webdienste zu verwenden ist keine Alternative, da alle Daten, Ein- und Ausgaben, lokal bleiben sollen.
Danke für euere Anregungen.