Arny006
Anmeldungsdatum: 21. Dezember 2010
Beiträge: 446
|
Ich habe ein neues Projekt namens "Kubuntu Cluster" Die maximale Hardware-Konfiguration sieht vor: 5*Banana Pi BPI-M64 oder 5*Banana Pi M3 (4*slave, 1*master) plus 2*Banana Pi Router. Display, Tastatur, Touch-Pad und Webcam würde ich von einem Notebook nehmen. Und hier die Fragen (die auch mit Links mit Step-by-Step-Anweisungen gerne geantwortet werden können): 1. Gibt überhaupt ein Kubuntu für ARM-Prozessoren, auch 64 Bit und wo? 2. Läuft überhaupt Kubuntu auf einem Pi? 3. Gibt Software-/Konfiguration-Anweisungen für ein "Kubuntu Cluster" und wo? Das wärs fürs erst. Ach! Ich würde alle Anweisungen, Bilder und Links veröffentlichen und für jedermann zur Verfügung stellen. Danke im Voraus und Grüße
|
Benno-007
Anmeldungsdatum: 28. August 2007
Beiträge: 29240
Wohnort: Germany
|
Sowas ist bei ARM gerätespezifisch, eins für alle kann es nicht geben. Es gibt Ubuntu MATE für den Raspberry Pi, kubuntu-desktop lässt sich nachinstallieren. Mal eine andere Frage: Ein Cluster hat herkömmlich z.B. die Funktion, rechenintensive Vorgänge zu verteilen. Dabei wäre KDE Plasma weder erforderlich noh hilfreich, sondern extrem hinderlich, da der größte Ressourcenfresser. Was soll das bringen, was ist das grobe Ziel? Wenn schon überhaupt einen Desktop, dann gewiss nicht den Fettesten der Fetten.
|
Arny006
(Themenstarter)
Anmeldungsdatum: 21. Dezember 2010
Beiträge: 446
|
Hallo Benno und vielen Dank für Antworten Benno-007 schrieb: Sowas ist bei ARM gerätespezifisch, eins für alle kann es nicht geben.
Sorry, hier verstehe nicht was Du meinst.
Es gibt Ubuntu MATE für den Raspberry Pi, kubuntu-desktop lässt sich nachinstallieren.
OK, Danke, auch 64 Bit? Mal eine andere Frage: Ein Cluster hat herkömmlich z.B. die Funktion, rechenintensive Vorgänge zu verteilen. Dabei wäre KDE Plasma weder erforderlich noh hilfreich, sondern extrem hinderlich, da der größte Ressourcenfresser. Was soll das bringen, was ist das grobe Ziel?
Tja! So ist das Leben und xUbuntu auch, der einer mag so und der andere anders. Es ist nicht für mich obwohl die Argumente des Anfragendes garnicht so schlecht sind... Wenn Du wusstest auf welche Hardware meine Frau der KDE laufen lässt! Wenn schon überhaupt einen Desktop, dann gewiss nicht den Fettesten der Fetten.
Und genau das hätte ich mir auch gedacht, aber Siehe oben. Nun wie ist es aus der technische Seite? Kann man KDE auf 40 CPU verteilen? Und läuft flüssig bei jeder der 8-Core 1,8 GHz mit 2 GB RAM (32 Bit) oder 4-Core 1,2 GHz mit 2 GB RAM (64 Bit)?
|
Developer92
Anmeldungsdatum: 31. Dezember 2008
Beiträge: 4101
|
Arny006 schrieb: Benno-007 schrieb: Sowas ist bei ARM gerätespezifisch, eins für alle kann es nicht geben.
Sorry, hier verstehe nicht was Du meinst.
Bei ARM gibt es nicht ein Ubuntu für alle Geräte, sondern es muss für jedes Gerät neu gebaut werden. D.h. wenn du einen Raspberry Pi hast, brauchst du ein Image für den Raspberry Pi. Wenn du einen Banana Pi hast wiederum ein extra Image für den Banana Pi. Die Images sind in der Regel nicht tauschbar. Kurzum: Für jedes neue Gerät muss zumindest der Kernel und eventuell ein paar Tools speziell gebaut werden. Die Anwendungen hingegen sind austauschbar, wobei man auch hier auf die ARM-Version achten muss (ARMv5, ARMv6, ARMv7, ARMv8, und eventuell gibt es sogar noch mehr).
Kann man KDE auf 40 CPU verteilen?
So einfach funktioniert das nicht. Es gibt Anwendungen, die kann man für verteiltes rechnen (distributed computing wäre das Schlagwort) verwenden. Es gibt auch Mainboards, welche mehr als eine CPU fassen können (beispielsweise von EVGA), womit Linux klarkommen müsste. Linux kommt auch mit einer 40-Kern-CPU klar (oder sollte es zumindest, mangels Hardware konnte ich das noch nicht testen). Aber beliebige Systeme zusammenschalten und herkömmliche Anwendungen verteilt laufen lassen dürfte schwer bis unmöglich sein, zumal man da auch noch ordentliche Latenzen durch das verwendete Bussystem (Ethernet) haben dürfte.
|
Arny006
(Themenstarter)
Anmeldungsdatum: 21. Dezember 2010
Beiträge: 446
|
Hallo Developer92 und vielen Dank für Antworten.
ARM gerätespezifisch
Bei der http://www.banana-pi.org zB. steht einfach Linux aber es ist "Linux mit Hindernisse"? D.h. Ein ARM-Prozessor ist ein RISC-Prozessor ohne Standard? Hardware:
Banana Pi BPI-M64 hat Allwinner A64 64 Bit ARM-Cortex-A53-CPU mit vier Kernen (1,2 GHz CPU)
Banana Pi M3 hat Allwinner A83T ARM-Cortex-A7-CPU mit acht Kerne (32 Bit, CPU-speed?) Software:
https://upload.wikimedia.org/wikipedia/commons/5/50/Bananian_Linux.webm
https://www.bananian.org/
KDE auf 40 CPU (= 5-Motherboard) verteilen
Es hat geheißen die "Jobs bzw. Services/Prozess verteilen", aber das auch nicht ganz? Ich dachte mir (oder die meisten denken) Installiere Linux (mit KDE) auf ein Super-Computer mit 5 Hauptplatine mit jeweils 1 Prozessor mit 8 Kerne (=40 Kerne insgesamt) und hat man ein sehr schnelle Linux auf kleinste Raum mit minimale Energie und Kosten! Wie soll ich es verstehen? Gibt ein Schema wie die Verteilung bzw. Zusammenarbeit der einzelne Computer (Motherboard) innerhalb eine Farm/Cluster funktioniert? Was machen die Leute mit diesen "Supercomputer"? Oder was kann man machen? Wenn nicht mal eine "normale" Distri (mit beliebige DE) aufsetzten können, lassen die einzelne Rechenaufgaben für wissenschaftlichen Zwecken berechnen?
|
Benno-007
Anmeldungsdatum: 28. August 2007
Beiträge: 29240
Wohnort: Germany
|
Raspi 3 ist 64 Bit. lassen die einzelne Rechenaufgaben für wissenschaftlichen Zwecken berechnen?
Genau sowas. Glaubt jemand allen Ernstes, dass sie darauf einen Desktop brauchen und damit Ressourcen verschwenden? Wie naiv muss man sein, dass man glaubt, KDE und Programme würden selbstständig Beine bekommen und sich verteilen? Das klappt doch schon auf EINEM PC nicht, dass sich ein Prozess auf mehrere Kerne verteilt! Sowas gibt es nur bei ganz wenigen Ausnahmen, etwa bestimmte Software für Videoformatumwandlungen. Bei deinem Kenntnisstand würde ich das Projekt beerdigen, bevor du dich damit näher auseinandersetzt. Das ist verschwendete Zeit. Du glaubst, du bekommst bei ARM die volle Leistung für keinen Stromverbrauch - und dass das wie ein PC standardisiert sei. Das IST standardisiert, aber es sind eher x Standards als einer...
|
Developer92
Anmeldungsdatum: 31. Dezember 2008
Beiträge: 4101
|
Arny006 schrieb: D.h. Ein ARM-Prozessor ist ein RISC-Prozessor ohne Standard?
Naja, eine Advanced RISC Machine, wenn wir genau sind ☺ ARM-Prozessoren haben schon diverse Standards, aber es sind halt wesentlich mehr als das bei den "normalen" x64_68-Prozessoren der Fall ist. Zumal es dann noch Module (genannt "IP core") gibt, die man in den Prozessor integrieren kann, welche von ARM lizenziert werden. Deswegen hast du auch für jede Version des Banana Pi eine eigene Download-Seite: Banana Pi Download Übersicht Es gibt natürlich Projekte, die versuchen das alles unter einen Hut zu fassen. Arch Linux ARM hat beispielsweise nur eine handvoll Versionen, die auf dutzenden Geräten laufen. Und auch Gentoo ist durch die Paketverwaltung sauber an das jeweilige Gerät angepasst. Aber da hat man dann eben auch kein einfaches Flashen und läuft, sondern muss sich etwas in die Materie einarbeiten. Ich dachte mir (oder die meisten denken) Installiere Linux (mit KDE) auf ein Super-Computer mit 5 Hauptplatine mit jeweils 1 Prozessor mit 8 Kerne (=40 Kerne insgesamt) und hat man ein sehr schnelle Linux auf kleinste Raum mit minimale Energie und Kosten!
Äh, "Supercomputer" definiert sich über die Leistung bezogen auf eine spezifische Anforderung, nicht auf die Anzahl der Kerne. 40 Kerne müssen nicht schnell sein (und sind es auch bei ARM nicht). RISC ist schließlich nicht zum Spaß die Abkürzung für Reduced Instruction Set Computer ☺
Wie soll ich es verstehen? Gibt ein Schema wie die Verteilung bzw. Zusammenarbeit der einzelne Computer (Motherboard) innerhalb eine Farm/Cluster funktioniert?
Wie man Cluster aufbaut dürfte eine Wissenschaft für sich sein, zumindest ab einer bestimmten Größe.
Was machen die Leute mit diesen "Supercomputer"? Oder was kann man machen?
Simulationen laufen lassen, rendern, Software kompilieren, etc. Aber Grafikkarten sind für diesen Zweck dank OpenCL oder auch CUDA herkömmlichen Prozessoren in der Regel um Welten überlegen (vergleiche hierzu etwa die Leistung in FLOPS). Was übrigens auch einer der Gründe ist, warum aktuelle Supercomputer hauptsächlich mit Grafikkarten rechnen und die CPUs eher die Funktion der Koordination übernehmen.
|
Arny006
(Themenstarter)
Anmeldungsdatum: 21. Dezember 2010
Beiträge: 446
|
Hallo Developer92 und noch mal vielen Dank. Und vielen Dank für die offene/ehrliche Worten das ich sehr zu schätzen weiß. Als Kommunikationselektroniker mit 25-Jährige Erfahrung, bin von diese Bank-Karte-Format-Computer nicht (mehr so) begeistert. Zumindest für den Privat-Gebrauch, nur als Hobby bzw. mit Computer-Technik zu experimentieren geeignet. Klar ist auch jetzt die Fabrikat-Treue der Zusatzkomponenten. Klar sind mir auch die Schwierigkeiten die z.B. Plasma-Mobile mit der Vielfalt der ARM-Prozessoren hat und die Leistung der Android-Entwickler. Jetzt ist auch klar warum (Cluster-Pi) nie eine DE (Desktop Environment) zeigen (Youtube) und mit richtige Cluster eine Virtualisierung erstellt und mit InfiniBand versucht die Latenzen zu reduzieren. Wenn an meine Kenntnisse läge könnte ich mich einarbeiten aber die Hardware-Technik muss mitspielen und die Software-Entwicklung fürs so ein kleines Cluster ist wie auf Spatzen mit Kanonen schießen. Mein Fazit: Das Projekt Kubuntu-Cluster ist auf unbestimmte Zeit auf Eis gelegt. Das Thema kann man nicht als gelöst markieren. Was meinst Du Developer92? Schöne Grüße aus München
|
Arny006
(Themenstarter)
Anmeldungsdatum: 21. Dezember 2010
Beiträge: 446
|
Hallo Developer92, ich bin's wieder, ich weiß selbst das nicht loslassen kann, zumindest nicht so schnell. Jetzt habe was von HAL mit NetBSD gelesen das eine Art BIOS bildet, Weißt Du was darüber?
|
Developer92
Anmeldungsdatum: 31. Dezember 2008
Beiträge: 4101
|
Arny006 schrieb: Jetzt habe was von HAL mit NetBSD gelesen das eine Art BIOS bildet, Weißt Du was darüber?
BIOS ist die Firmware des PCs, NetBSD ein Betriebssystem, HAL bezeichnet lediglich den Abstraktionslayer zwischen Hardware und Software. Tut mir leid, aber das könnte alles mögliche ergeben. Quelle/Link/Artikel hast du nicht zufällig?
|
Kaivk
Anmeldungsdatum: 8. November 2009
Beiträge: 593
|
Nur als Anmerkung zu dieser Idee: Die Netzwerkverbindungen sind so schnell, als ob Du zuhause dir ne Butterbrotstulle schmierst, dann bemerkst, dass Du leider die Butter vergessen hast, zu Aldi fährst, Butter holst, nur um nach dem Essen festzustellen, dass Du leider keine Bettdecke hast, um einen Mittagsschlaf zu halten; also nochmal ab zu Ikea… Jetzt mal mit Zahlen unterlegt:
Standard Netzwerk Ping >1ms; RAM-Zugriffszeiten: 10ns; CPU-Zyklus <1ns. Du kannst also (mehrere) 100,000 CPU-Zyklen ausführen, bevor Du überhaupt eine Antwort wegen neuer Daten übers Netzwerk erhalten kannst. Generell ist Supercomputing mit verteilten Rechnern nur möglich, weil ein Haufen sehr intelligenter Leute spezielle Kommunikationalgorithmen geschrieben haben, die bei extrem gut verteilbaren Aufgaben, schnell miteinander kommunizieren. Für alle praktische Anwendungen ist ein 8-Kern PC mit 16 Threads deutlich besser insbesondere da die heutigen AMD/Intel-CPUs immer noch Kreise um die ARM-Chips drehen, wenn man pro Takt rechnet. Generell gilt aber das schon gesagte, dass die "normalen" Anwendungen sowieso nur lausig mit Kernen skalieren, selbst wenn diese auf einer physischen CPU hocken.
|
Arny006
(Themenstarter)
Anmeldungsdatum: 21. Dezember 2010
Beiträge: 446
|
Ich Danke Euch sehr für Antworten und Engagement in den Topic! https://en.wikipedia.org/wiki/NetBSD Wo genau gelesen habe weiß ich nicht mehr, beim Download stand aber auch Nichts mehr über HAL mit NetBSD. Wie Kaivk mit Zahlen belegt hat (und plastisch beschrieben hat), spielt HAL (auch mit NetBSD) keine rolle mehr da als erstes ein viel schnellere Bus-System braucht. Ob der vorhandene I² (40-PIN) das Rennen macht wage ich es zu bezweifeln weil da (im Best-Case) eine Art ISA-Bus hätten (Wie beim alte Festplatten). Wozu dann manche auf Youtube zum Spenden (Crowd-Founding) aufrufen um ein "Super-Computer" zu bauen oder die Berichte von Deutsche Student der im MIT ein SC gebaut hat ohne zu sagen was diese SC macht oder machen kann... ist mir schleierhaft! Werbung oder Propaganda für Pi?
|
Developer92
Anmeldungsdatum: 31. Dezember 2008
Beiträge: 4101
|
Arny006 schrieb: Wozu dann manche auf Youtube zum Spenden (Crowd-Founding) aufrufen um ein "Super-Computer" zu bauen oder die Berichte von Deutsche Student der im MIT ein SC gebaut hat ohne zu sagen was diese SC macht oder machen kann... ist mir schleierhaft! Werbung oder Propaganda für Pi?
Bei diesen "Supercomputern" welche aus Raspberry Pis zusammengebaut werden geht es in erster Linie darum ein Cluster aufzubauen, und das möglichst günstig. Würde es um Rechenleistung gehen würde man das Problem anders lösen.
|
Arny006
(Themenstarter)
Anmeldungsdatum: 21. Dezember 2010
Beiträge: 446
|
Developer92 schrieb: Bei diesen "Supercomputern" welche aus Raspberry Pis zusammengebaut werden geht es in erster Linie darum ein Cluster aufzubauen, und das möglichst günstig. Würde es um Rechenleistung gehen würde man das Problem anders lösen.
Kannst Du mir bitte der Unterschied kurz erläutern? Ein Cluster ist viel langsamer und erledigt einzelne "Rechenaufgaben"? Wie/was macht man wenn es um Rechenleistung geht? Ist das für Privat/Hobby (ohne IBM-Software) realisierbar?
|
Developer92
Anmeldungsdatum: 31. Dezember 2008
Beiträge: 4101
|
Arny006 schrieb: Kannst Du mir bitte der Unterschied kurz erläutern?
Ein Cluster ist ein Verbund aus Rechnern, dieser muss aber nicht zwingend leistungsstark sein sondern kann aufgebaut aus Raspberry Pis bspw. auch lediglich die Funktionsweise demonstrieren. Ein Supercomputer hingegen ist ein Computer welcher eine abnorm hohe Rechenleistung zur Verfügung stellt (in der Regel werden Supercomputer auch als Cluster realisiert. D.h. man hat dann da ein paar tausend Rechner mit ein paar tausend Grafikkarten o.ä. zum Rechnen).
Ein Cluster ist viel langsamer und erledigt einzelne "Rechenaufgaben"?
Nein, wie leistungsstark ein Cluster ist hängt von den verbauten Komponenten ab. Zumal Cluster auch nur diejenigen Aufgaben effizient lösen können, welche dafür ausgelegt sind (sprich: Die Prozesse müssen sehr stark parallelisierbar sein, möglichst ohne Overhead).
Wie/was macht man wenn es um Rechenleistung geht? Ist das für Privat/Hobby (ohne IBM-Software) realisierbar?
Natürlich. Es gibt Boards welche mehrere CPUs fassen und falls du auf Grafikkarten setzen willst kannst du dir auch ein Mainboard mit entsprechend vielen Slots besorgen. Das wäre so die Option für den Privatgebrauch. Vielleicht wäre auch ein kleiner Server was, die kann man auch ordentlich bestücken. Und mehrere davon natürlich auch zusammenschalten … zu einem Cluster. Du brauchst dazu natürlich auch entsprechende Software die das kann. Aber das wird alles erst dann relevant, wenn du wirklich so viel Leistung brauchst. Nachtrag: Entsprechende Software bedeutet: Alles, was verteiltes Rechnen unterstützt. Sämtliche Kryptowährungen die auf dem Blockchainprinzip basieren machen das, verteiltes Rendern müsste mit Blender gehen, Kompilierjobs lassen sich mittels distcc auf einzelne Knoten verteilen, alles was Bruteforce benötigt müsste auch sehr gut skalieren. Da findet sich schon was ☺
|