ubuntuusers.de

Ich habe einen i7 PC und spiele gerne mit KI rum. Die meisten Programm lassen sich mit CUDA beschleunigen. Ich habe aber keine Nvida-Grafikkarte und brauche eigentlich auch keine. Gibt es von Nvidia vielleicht mittlerweile einen Compute-Stick oder eine reine Beschleuniger-Karte? eGPU? Hat das schonmal jemand ausprobiert, wie viel so eine Nvidia-Grafikkarte bringt bei KI?

Es gibt von Nvidia reine Beschleunigerkarten - für Server. Mit den macht Nvidia im Moment richtig fett Kohle. AFAIK gibt es sowas nicht für Heimanwender, weil das viel zu teuer ist. Dagegen sind selbst High-End GraKas echte Schnaper.

Ja, GraKas bringen was, weil die die typischen Rechenoperationen für KI-Anwendungen schneller / effizienter können als eine CPU. Noch schneller sind NPUs (Neural Processing Units), weil die genau darauf optimiert sind. Es sind AFAIK vor wenigen Wochen auch die ersten x86 CPUs von Intel und AMD auf den Markt gekommen, die dedizierte NPUs haben. Smartphone Prozessoren haben das schon länger, ebenso die M-CPUs von Apple.

Zwischenfazit: ein einfachsten ist sicherlich, eine Nvidia GraKa zu kaufen und in den Rechner zu stecken - wenn man einem Desktoprechner hat. Plan B: Apple Rechner mit einem der M-Prozessoren kaufen. Plan C: eine der neuen x86 CPUs von Intel oder AMD mit passendem Motherboard kaufen und hoffen, dass a) der Linux-Kernel die CPUs so bald wie möglich vollumfänglich unterstützt und b) dass es auch Software gibt, die die NPU in der CPU nutzt. Damit sieht es z.Zt. AFAIK auch unter Windows noch dünn aus. Plan D: nichts machen und einfach geduldig sein, wenn die CPU die KI-Algorithmen durchnudelt.

Gruß, noisefloor

https://www.igorslab.de/amd-gpus-nutzen-jetzt-nvidia-cuda-bibliotheken-mit-rocm-und-zluda/

mRoc

Nvidia / Cuda - gehört das nicht in das Subforum "Grafik"?

noisefloor schrieb:

Zwischenfazit: ein einfachsten ist sicherlich, eine Nvidia GraKa zu kaufen und in den Rechner zu stecken

Ne, dann bräuchte ich nämlich ein neues Netzteil. Meins hat nur 380W. Und dann könnte ich mir auch gleich einen neuen Rechner kaufen.

Ich verwende aktuell auch nur die CPU. Jenachdem was du ausführst, kann man da auch etwas optimieren, ich nenne einfach mal paar Beispiele aus meinem Alltag:

• Stable Diffusion: Da verwende ich jetzt ein auf SDXL Lightning basiertes Modell, das 1/3 der üblichen Zeit Bilder generiert (10 Steps statt 20, 30), hab auch was von Modellen und Samplern gelesen, die mit noch weniger Steps auskommen, aber noch zu wenig getestet

• LLMs, Text zu Text: da gibt es kleinere, auch mittlerweile gute Modelle, etwa Llama 3 8B, je nach Einsatz taugen auch welche mit flotteren Quantisierungsmethoden

• Compile-Optionen wie LLAMA_FAST=1, LLAMA_OPENBLAS=1 (Beispiel llama.cpp)

• Hab mal wo gelesen, dass eine spezielle Torch-CPU Version geringfügig flotter auf CPUs sein soll, aber das nie verifiziert

War zwar nicht deine Frage, aber nur für den Fall, dass du keine geeignete externe Grafik findest.

verdooft schrieb:

• Hab mal wo gelesen, dass eine spezielle Torch-CPU Version geringfügig flotter auf CPUs sein soll, aber das nie verifiziert

Schade dass Torch nicht mit Google Coral USB funktioniert!

Hab hier was interessantes entdeckt: https://www.codeproject.com/Articles/5322557/CodeProject-AI-Server-AI-the-easy-way Kann leider nicht mehr dazu schreiben, weil es hier unter "Kaufberatung" off-topic ist und sonst gelöscht wird.

Hallo,

Ne, dann bräuchte ich nämlich ein neues Netzteil. Meins hat nur 380W. Und dann könnte ich mir auch gleich einen neuen Rechner kaufen.

380 W? Wie alt ist denn dein Rechner? Und welche CPU hast du aktuell verbaut?

Schade dass Torch nicht mit Google Coral USB funktioniert!

Der Coral USB ist ja auch alles andere als eine Leistungsrakete. Klar, für den Raspi ist das schnell, aber noch "normalen" Maßstäben ist der Stick auch lahm. Zumal der USB-Port als Bottleneck dazwischen hängt.

Kann leider nicht mehr dazu schreiben, weil es hier unter "Kaufberatung" off-topic ist und sonst gelöscht wird.

Dann eröffne doch einen neuen Thread dazu...

Gruß, noisefloor

Und noch was neues, wieder keine Kaufberatung: Man kann eine externe eGPU-Box an einen Ubuntu-Rechner hängen: https://developer.nvidia.com/blog/accelerating-machine-learning-on-a-linux-laptop-with-an-external-gpu/

(warum sollte ein normaler Office-Rechner mit Intel i7 ohne High-End-Grafik ein Netzteil mit 800W brauchen?)

Hallo,

der Artikel ist 3,5 Jahre alt... hast du mal gecheckt, ob es die Hardware noch gibt? Und hat dein Rechner Thunderbolt 3 oder neuer?

warum sollte ein normaler Office-Rechner mit Intel i7 ohne High-End-Grafik ein Netzteil mit 800W brauchen?

Weil das Netzteil deines aktuellen Rechner dich halt effektiv dran hindert, eine (stärkere) GraKa einzubauen.

Gruß, noisefloor

noisefloor schrieb:

hast du mal gecheckt, ob es die Hardware noch gibt?

eGPU-Boxen gibt es genug.

Und hat dein Rechner Thunderbolt 3 oder neuer?

Nee, da müsste ich wahrscheinlich eine PCIe Karte reinmachen.

Hallo,

eGPU-Boxen gibt es genug.

Hast du mal die Preise gecheckt? Ist as günstiger als ein neuer Rechner? Hat dein Rechner die notwendigen Schnittstellen?

Gruß, noisefloor

noisefloor schrieb:

eGPU-Boxen gibt es genug.

Hast du mal die Preise gecheckt? Ist as günstiger als ein neuer Rechner? Hat dein Rechner die notwendigen Schnittstellen?

Mein aktueller PC läuft 12h am Tag und verbraucht 40W. So eine eGPU-Box die werf ich mal zu bestimmten Gelegenheiten an und wenn mir das nicht mehr gefällt verkauf ich die. Allerdings gibt es ja auch so Kisten wie Nvidia Jetson, da könnte man gleich die Programme dort drauf laufen lassen.

Eine 4060 ist effizient, und kann man auch mit 380 Watt betreiben. Alle aktuellen Karten schalten im Idle den Propeller aus und ziehen kaum Strom - wegen "Office".

Zum Einstieg sollte das reichen ... ☹

Meine proprietäre 6-Kerner Ryzen-Office-Kiste zieht 15 Watt im Idle! 👍

hakel2022 schrieb:

Meine proprietäre 6-Kerner Ryzen-Office-Kiste zieht 15 Watt im Idle! 👍

Was heisst idle? wenn sie ganz normal an ist, aber nichts gearbeitet wird? 15W kann ich eigentlich kaum glauben. Meine i7-6700T CPU hat eine TDP von nur 35W und trotzdem verbraucht die Kiste 35W-40W.