mehr als 8 Prozessoren

[123qw]

Hallo,
ich habe eine Frage und das ist das Einzige das mir an vmware WS nicht gefällt.
Ich habe einen 980x Prozessor mit 6x2=12 Prozessoren. Bei mir läuft vmware unter win7 64bit und als gastsystem ubuntu 10.04 64bit. Auf Ubuntu laufen meine ganzen Rechnungen aber ich kann nur 8 Prozessoren wählen!!!!
Ich müsste unbedingt auf alle 12 zugreifen können, aber vmware unterstützt das nicht. Kann man da irgend was tun?
Ansonsten muss ich das vmware wieder zurück geben und Linux ganz allein laufen lassen. Das wollte ich aber nicht, wenn es nicht anders geht, muss ich das aber machen.
Meine Rechnungen auf 8 Prozessoren dauern ca. 19Std.

Gruss und Danke

[Supi]

kurz und knapp, dafür ist vmware nicht gedacht.

Bau doch noch eine Platte rein und starte davon ubuntu parallel?!

[affabanana]

Hallo Du

Wenn man Leistung PUR will muss man immer noch auf BLECH installieren.


Du könntest also Ubuntu direkt installieren und dort dann eine Windows 7 VM installieren.

Wenn Du nicht direkt umsteigen willst.

gruass affabanana

[Dayworker]

Um was für Berechnungen handelt es sich denn, etwa Boinc?

[123qw]

es sind sim. Rechnungen von Gebäudeerwärmungen. Es werden ca. 800 Varianten gerechnet. Im Moment laufen die auf 8 Prozessoren also genauso schnell wie wenn ich nur 100 Rechnen würde.
mit 12 parallel sind das ... 800/12

Es würde schon was bringen und ich merke keine Einbußen gegenüber einen "normal" installiertem linux auf 8 CPUs.

Also was würde dagegen sprechen wenn vmware 12 Cpus anbieten würde.
Versteh ich nicht warum es "dafür nicht gedacht wurde"

Für die anderen Tips bin ich auch dankbar. Ich sag euch aber warum das nicht so einfach geht.
Ich hab einen Raid0 Controller verbaut und die Installation von Ubuntu läuft (im Moment) noch nicht. Ich hab da was von alternate CD gelesen. Aber ich habs noch nicht geschafft.
Und dann bleibt beim booten immer die Frage was ich jetzt denn will. Aber ihr habt schon recht. Linux als basis und dann vmware mit win7 macht wahrscheilich mehr Sinn. Wenn ich es denn schaffe Ubuntu zu installieren. An dem hängts im Moment

[Dayworker]

Weil du der erste bist, der trotz der bekannten Nachteile unbedingt soviele v.CPUs haben will. Selbst 4 v.CPUs machen nur begrenzt einen Sinn. Bei einem Sechskerner würden sich dann ja schon 2 VMs diesen Kalibers gegenseitig behindern und dazu kommen dann noch die Anforderungen vom Host-OS an CPU-Leistung und RAM-Bedarf.

[Supi]

Ich nehme mal an das Raid-0 ist für hohe IO-Leistung oder so ähnlich gedacht. Wie groß sind denn die zu verbeiteten Daten? Möglicherweise holst du da durch ein schnelle Sandforce SSD mehr raus als über mehr CPUs?
Wenn die Software wirklich so über mehr CPU's skaliert wäre es doch sinnvoller diese clusterfähig zu machen um über mehrere PC's die Rechenzeit zu reduzieren.

[123qw]

hallo,
mehrere PCs sind möglich. Ich hab aber nur einen
Also ich MUSS im Moment noch mit VMWARE unter win7 die Rechnungen laufen lassen. Das Problem gehört hier nicht her, aber ganz kurz. Linux unterstützt im Moment noch nicht meinen Raid Controller. Ich werde mir aber einen anderen kaufen. Dann werde ich das alles ganz normal unter Linux rechnen.
Bis dahin bin ich auf vmware WS angewiesen. Wenn es irgend eine Möglichkeit gibt 6Cpus mit 2 Kernen an zu ziehen. Sagt mir das bitte. Egal ob ihr glaubt das das keinen Sinn macht.

Ich werde es ausprobieren und euch dann berichten ob es was bringt.

Danke

[irix]

Da CPUs im VMware Land direkt durchgereicht werden kommen (gerade bei vSphere) 95-98% der reinen CPU Leistung im Gast OS an. Wenn man dann eine Anwendung hat die viele Cores Auslastet und man keine anderen Schmerzen hat kann man sowas auch virtualisieren.

Stand Heute ist aber das nur 4, bzw. 8 vCPUs wenn man vSphere Enterprise+ hat, an den Gast weiterreichen kann.

Gruss
Joerg

[Tschoergez]

Hi,
probier doch mal, die BErechnungen lieber auf 2-3 VMs mit jeweils einer oder 2 vCPUs durchzuführen, wenn das die Applikation unterstützt (Scale-out anstatt Scale-up).

Funktioniert in den meisten Fällen performanter als eine sehr große VM zu bauen.

viele grüße,
jörg

[irix]

Hi,
probier doch mal, die BErechnungen lieber auf 2-3 VMs mit jeweils einer oder 2 vCPUs durchzuführen, wenn das die Applikation unterstützt (Scale-out anstatt Scale-up).

Funktioniert in den meisten Fällen performanter als eine sehr große VM zu bauen.

viele grüße,
jörg

Funktioniert aber nur wenn man die Workload denn auch so aufteilen kann. Das scheint aber wohl nicht machbar zu sein wenn es das Programm nicht vorzieht. Selbst wenn es manuell geht verbleibt dann ja der Aufwand die Ergebnisse evtl. ertmal "mergen" zumuessen.

Gruss
Joerg

[123qw]

hm,
lasst uns das doch mal weiter denken.
Das Programm zur Berechnung hab ich selber geschrieben, daher kann ich auch viel in die Berechnung aud Aufteilung eingreifen.
Sphere hab ich nicht. Ich muss da erst mal schauen was das genau ist. Sorry. Ich hab mir nur das Workstation gekauft.

Daher lasst uns erstmal das erste verstehen. Kann ich aus einem virtuellen Linux auf eine geclonte Variante zugreifen und dort einen job starten? Wenn das geht kann ich mein Programm so umschreiben. Also nochmal ganz einfach. Ich müsste den jobbefehl in dem Linux1 abschicken und auf dem Linux2 ausführen können. Dann kann ich das machen.

Das nächste ist das mit dem Sphere kann mir jemand mal sagen was das genau macht? Am besten als Beispiel für meine Anwndung. Wenn das dann einfacher ist, kauf ich mir das und gut ist das. Kann ich damit meine 12 CPUs auslasten?


Danke

[irix]

Wenn du das selber in der Hand hast dann die Frage warum du noch nicht selber drauf gekommen bist?

Erstelle halt mehrere VMs mit 2,3 oder auch 4 CPUs und verwende den Host als Dispatcher zur Job und Auftragsverwaltung und verwende eine Netzwerkfreigabe damit alle Nodes gemeinsamen Zugriff auf die Daten haben.

Da du gerne Linux einsetzen willst wuesste ich sogar evt. eine Programm zur Verwaltung des ganzen. Da ist zwar der Fokus auf Rendering aber letztendlich gehts auch nur im das starten von Tasks und der Ueberwachung von Auslastung. Schau mal unter http://www.drqueue.org nach und selbst wenn dir da der Aufwand zu hoch ist gibt es vieleicht ein paar Ideen welche du in deine eigene Loesung einfliessen lassen kannst.

Ich musste mal eine hohe 5stellige anzahl von CAD Zeichnungen Konvertieren was mehrere Schritte pro Zeichnung war. Letztendlich wurde die Workload einmalig erfasst und per Script in eine DB getan. Die Nodes konnten sich dann registrieren und eine vorher definierte Anzahl an Dokumenten zur Bearbeitungen holen, sofern die Load es zuliess auch mehrere. War der Node fertig wurde das ganze in der DB vermerkt und er guckte nach weiterer Arbeit.

Das ganze waren ein Paar Shellscripte geschrieben in PHP . 2 Tage Scripten und Testen und dann 5 Tage Processing. Die T-Systems hatte so 5-6 Monate spezifiert aber solange wollte der Kunde nicht warten. Ich hab die Daten dann nach einer Woche abgeliefert mit entsprechenden Reports.

Gruss
Joerg

[123qw]

Hallo Jörg,
danke für die Info.
---
Wenn du das selber in der Hand hast dann die Frage warum du noch nicht selber drauf gekommen bist?
---
Wie du muss ich von dem was ich mach leben und ich hab echt viel um die Ohren, so dass ich mich darum noch nicht kümmern wollte. Ich bäuchte echt 30Stunden am Tag virtuell oder echt. Aber die hab ich nicht. Genug gejammert.
Das mit den 2-3 VM mach ich. Ich muss in Linux bleiben, da läuft alles. Wenn ich mal Zeit hab denke ich über Windows nach.
So und jetzt da Wichtige. Wie greife ich in meinem Linux1 auf das Linux2 zu? Läuft das über die IP, oder wie wird das im Linux1 erkannt. Kannst du mir das mit dem "Host als Dispatcher" ein bisschen näher erklären.
Wenn ich es nur schaffe einen Befehl im Linux1 in Linux2 auszuführen (z.B. xterm) ist der Rest ein Kinderspiel.

Danke nochmal für deine schnelle Hilfe

[irix]

Mein erster Chef hat immer gesagt... wenn 24h Stunden nicht reichen koennte man ja auch noch Nachts arbeiten... .

Keiner will dich vom Linux abringen besonders weil ich der Meinung bin das man dort mit Scripting und Automatisierung besonders fix was machen kann. Allerdings wenn man sich mit VB und .Net auskennt ist das auf Windows auch alles Moeglich. Nur gibts dort genrell weniger Komandozeilen Programme als unter Unix/Linux welche sich Missbrauchen lassen

Dein (Windows)Host macht einen (CIFS)Share und die Linux VM Guest greifen ueber einen CIFS-Mount darauf zu. Wenn du den Dispatcher lieber unter Linux machen moechtest dann kannst du das natuerlich auch machen und es wuerde sich ein NFS Share anbieten.

Du kannst "rsh" oder aber "ssh" verwenden um Programme auf Linux Rechnern zu starten wenn diese am Netzwerk angeschlossen sind. Ersteres ist unverschluesselt und sollte per Default nicht mehr zur verfuegung stehen.

Selbst wenn du auf Netzwerk verzichtest so wuerde es ueber die VMware Tools die Moeglichkeit geben in eine VM von aussen hinein zugreifen bzw. Programme zustarten. Allerdings wuerde ich die Werkzeuge von Linux bzw. dem OS nehmen und nicht VMware Tools.

Das mit dem Host als Dispatcher hatte ich erstmal nur so angenommen da der Host ja eh immer da ist und dieser evtl. auch die Daten zentral bereitstellen koennte. Wenn du Windows nicht magst/moechtest dann kannst du diese Aufgabe ja auch an eine VM auslagern.

Gruss
Joerg

[123qw]

Normalerweise würde ich, wenn ich mehrer Linux Rechner hätte einfach per rsh den Befehl starten. Das macht aber nur Sinn, wenn das Netzwerk nicht der begrenzende Faktor wäre. Da ja auf der fremden Maschine die Daten auf der lokalen Platte stehen und dort auch geschrieben werden.
Mit dem vmware scheint es ja so zu sein (ich benutze das ja erst seit 3 Tagen) das die Daten auf der Gleichen Platte nur in anderen Files liegen. Ich vermute, das der Datenzugriff änlich schnell sein sollte als würde ich nur auf einer VM arbeiten. Ist das so? Wenn ja muss ich doch nur die ander VM finden.
Ich vermute mal die hat eine IP oder einen Namen und so können die einzelnen VM einander erkennen. Stimmt das?
Jetzt wüsste ich nur noch wo der Name oder die IP der einzelnen VM stehen und ob man die einfach beliebig wälen kann.
Dann müsste "rsh 129.192.xxx.xxx xterm&" die Lösung sein wenn der Zugriff auf die Dateien so schnell wie aus einer VM geht. Das weiss ich halt nicht.

[irix]

Ich glaube dir fehlt noch eine Keyinformation bzw. du hast noch nie eine VM inkl. deren Netzwerk konfiguriert oder?

Ja, der Hypervisor legt fuer jede VM ein Verzeichnis an welche die Konfig der VM und einen oder mehrere Festplattenkontainer enthaelt. Fuer die Kontainer gibt es dann div. Formate welche Geschwindigkeits bzw. Platzvorteile bieten.

Natuerlich wird hier nicht die selbe Geschwindigkeit erreicht wie beim direkten phy. Zugriff. Aus diesen Grund auch mein Vorschlag ueber eine Netzwerkfreigabe.

Eine VM selber hat keine IP Adresse sondern einzig und alleine virtuelle Netzwerkhardware sofern man dieser der VM auch dazu konfiguriert. Das Guest OS sieht dann die Hardware und kann entsprechende Treiber/Module laden um ein Interface dann zukonfigurieren. Das unterscheidet sich in Nichts von der Welt von einem phsy. Server/System.

Damit die VMs dann aber an die Aussenwelt angeschlossen werden muss auf dem Host noch ein bisschen was getan werden. Das haengt dann aber vom verwendeten Hypervisor ab. In der Regel muss das virtuelle Netzwerk konfiguriert werden in dem dieses auf eines der phy. Verbindungen des Hosts gelegt wird und einer von 3 Modi (Bridge, NAT, HostOnly) ausgewaehlt wird.

Dann kannst du die VMs ueber das Netz erreichen bzw. die VMs untereinander.

Gruss
Joerg