MeisterKühler

Ivy Beech

Ansicht von 14 Antwort-Themen
  • Autor
    Beiträge
    • #502514
      n3Ro
      Teilnehmer

      Tach,

      nachdem ich vor einigen Jahren den MiniITX Cluster unter http://www.mini-itx.com/projects/cluster/ gesehen hatte, lies mich die Idee, etwas ähnliches auch zu bauen nicht mehr los. Über die Zeit fand ich auch u.a. Helmer (http://helmer.sfe.se/), LittleFe (http://littlefe.net/home), FAWN (http://www.cs.cmu.edu/~fawnproj/) und natürlich auch den EMK2, über den ich dieses Forum gefunden habe :).

      Nunja. Ich möchte erst einmal mit 4 Knoten anfangen, die allerdings Power haben sollen, wenig Platz wegnehmen sollen und natürlich leise sind; das übliche also. Ich peile gerade Xeon E3-1245v2 auf B75 ITX Boards an, die ich noch runtertakten und undervolten möchte (da genug Leistungsspielraum vorhanden). Kühlung ist noch unklar. Stromversorgung soll über ein großes ATX Netzteil und angeschlossene PicoPSUs vonstatten gehen.

      Nach ersten Experimenen in einem ausrangierten MS Tech LC-402 habe ich bemerkt, dass ich darin je nach Lage von kleinen ITX Boards in eine Dimension zu wenig und dafür in eine andere immer zuviel Platz hatte. Also muss ein anderes Gestell her, welches 4 ITX Boards, 1 ATX Netzteil, mindestens 1 SSD pro Board und eine Switch unterbringen kann. Darüberhinaus möchte ich es sowohl stehend als auch liegend betreiben können, und es potentiell stapeln können. Meine erste Version ist die folgende (ich hoffe ich bekomme das mit den Bildern hin):

      http://www.meisterkuehler.de/forum/attachment.php?attachmentid=1308&stc=1&d=1376253470http://www.meisterkuehler.de/forum/attachment.php?attachmentid=1309&stc=1&d=1376253635http://www.meisterkuehler.de/forum/attachment.php?attachmentid=1310&stc=1&d=1376253711

      Da alles aus Buche ist, habe ich dass System “Ivy Beech” getauft.

      http://www.meisterkuehler.de/forum/attachment.php?attachmentid=1311&stc=1&d=1376253792

      Als Switch habe ich einen Netgear GS308 da. Damit am Ende nur ein Netzkabel benutzt wird, habe ich ein altes Netzteilkabel auf Molex-Stecker umgerüstet.

      http://www.meisterkuehler.de/forum/attachment.php?attachmentid=1312&stc=1&d=1376253895http://www.meisterkuehler.de/forum/attachment.php?attachmentid=1313&stc=1&d=1376253986

      Seit einigen Jahren habe ich ein Lynnfield i7-870 ITX Board für Experimente mit dieser Größe im Betrieb. Dieses durfte auch gleich für (Ansicht-)Tests herhalten. Hat sogar eine Wasserkühlung, wobei ich in der aktuellen Konstruktion nicht 4 davon unterbekomme, eher eine “Große”. Aber auf Version 1 folgt ja oft eine bessere Version 2 :).

      Bis demnächst,
      n3Ro

    • #939012
      VJoe2max
      Teilnehmer

      Sieht sehr gut aus! Bin schon auf Version 2 gespannt. Kombi-Systeme mit mehreren Boards sind klasse :d:

    • #939428
      n3Ro
      Teilnehmer

      Tach mal wieder,

      ich habe die letzten Wochen etwas über die Zeit gestreckt an meinem Cluster weitergebaut, zum einen dadurch bedingt, dass die Freizeit begrenzt war, zum anderen weil die Komponenten erst nach und nach eingetrudelt sind. Nunja, ich hatte mich aufgrund meiner bisher sehr guten Erfahrung mit Gigabyte Boards vorschnell für die GA-B75N Variante entschieden. Physisch vermisse ich nichts auf dem Board und es ist auch in einem schönen Schwarz-grau gehalten.

      http://www.meisterkuehler.de/forum/attachment.php?attachmentid=1314&stc=1&d=1377978536

      Leider hat Gigabyte im BIOS die Spannungseinstellungen weggelassen, welche dann wohl nur in H/Z/X Boards vorhanden sind. Glück im Unglück hat der Xeon E3 1245v2 unter Prime nur 85W gezogen, womit mein größtes Bedenken ausgeräumt war. Mein altes ITX (GA-H55N, i7 870, Radeon 6450) hatte unter Prime bereits 170W verschlungen, was ich so keiner PicoPSU zutrauen wollte, und erst nach underclocking/-volting einen angenehmeren 120W Bereich erreicht. Das ist dann der wohl der Unterschied zwischen integrierter Grafik mit 77W TDP für alles vs. diskreter Grafik und 95W TDP für CPU-only.

      Zum befüllen der Konstruktion ist dann einiges zusammengekommen, wie die 4 Mainboards und CPUs, 4x 16GB Corsair RAM, ein Corsair AX860 für die Power und 3 PicoPSUs 160XT, ein paar Samsung 840 und eine Intel 320 die noch rumlag, und Silverstone FM181 Lüfter.

      http://www.meisterkuehler.de/forum/attachment.php?attachmentid=1318&stc=1&d=1377978891

      Anfangs hatte ich probiert, wie sich die Hitze unter Last am Mainboard entwickelt (mit Boxed Lüftern, die auch noch in Nutzung sind). Dabei ist die CPU sehr heiß geworden, also bis zu 75 Grad. Ein steter Luftstrom durch einen 120er Lüfter hatte diese Situation schon deutlich verbessert und die Temperatur noch bis 70 Grad steigen lassen. Da dieser nur auf der Oberseite des Mainboard gewirkt hat, ist die Rückseite des Mainboard ziemlich heiß geworden (subjektive Finger-“Messung”). Mit einem Abstand von 18cm zwischen den Außenstreben meiner Konstruktion habe ich dann 180er Lüfter hinzugezogen. Dadurch, dass die Mainboards auch noch ein wenig nach innen versetzt montiert sind, bekommen nun die Rückseiten auch Frischluft und sind kühler.

      http://www.meisterkuehler.de/forum/attachment.php?attachmentid=1315&stc=1&d=1377978662

      Bezüglich der Lautstärke können die Silverstone Lüfter bei 12V und starkem Luftzug die Boxed-Lüfter übertönen, daher regel ich sie per Drehregler auf ca. 6V / 600rpm runter, da dann die Belüftung trotzdem ausreichend ist.

      http://www.meisterkuehler.de/forum/attachment.php?attachmentid=1316&stc=1&d=1377978762http://www.meisterkuehler.de/forum/attachment.php?attachmentid=1317&stc=1&d=1377978825

      Für eine Version 2 sollte ich noch Platz für die Verkabelung und eine andere Kühlung lassen und den Luftstrom nicht von hinten nach vorne führen sondern von unten nach oben, so dass die RAM-Riegel nicht im Weg sind. Unter oder über jeder “Etage” könnte vielleicht ein 180er Radiator+Lüfter einziehen, nur dass das Netzteil dann nach hinten weichen wird.

      Aktuell habe ich ESXi auf den einzelnen Knoten installiert und lasse BOINC/FM@H mitrechnen. Das führt zu einem Verbrauch von 280W bei 24000 credits in 24h. Allerdings lässt ESXi die VMs nicht zu 100% die CPU auslasten, sonst wären beide Werte noch höher. So ist es allerdings für mich auch in Ordnung, da die Lüftung dann auch entsprechend leiser ist und der gleiche Effekt wie beim Underclocking eingetreten ist.

      Bis demnächst…

    • #939430
      ThaRippa
      Keymaster

      1000€ allein für die CPUs… Wahnsinn :)Aber wirklich ein beeindruckendes Projekt. Wäre direkt cool, da ESXi-Lizenzen zu haben. Essentials Plus aufwärts. Und dann ein NAS mit <=4 Platten und iSCSI und schon hat man seinen eigenen relativ ausfallsicheren Computingcluster. Braucht man nicht. Fetzt aber derb. *träum*

    • #939433
      isch
      Teilnehmer

      Ah da kommen die vielen Credits her 😀

      Aber ein Board 85W bei 3,4GHz ? Oder hat du OC betrieben.

      Bei 4 Boards hast du nur noch 280W.Sind dann die ganzen Lüfter und die anderen Sachen schon mit dabei?

      Ich habe ein Xeon E3 1245v2 zur Zeit zum Testen mit 3,4GHz@ 0,895V 1x8GB RAM @ 1,3V
      1 Samsung 830 128GB
      und ein 120er Lüfter @ 5V auf einem Asrock B75ITX unter Kubuntux64 laufen.Das ding zieht 51W-52W an einem 300W Gold NT bei 8x FM@H.

    • #939491
      n3Ro
      Teilnehmer

      ThaRippa;509879 said:
      1000€ allein für die CPUs… Wahnsinn 🙂

      Man gönnt sich ja sonst nichts 🙂

      ThaRippa;509879 said:
      Wäre direkt cool, da ESXi-Lizenzen zu haben. Essentials Plus aufwärts. Und dann ein NAS mit <=4 Platten und iSCSI und schon hat man seinen eigenen relativ ausfallsicheren Computingcluster.

      Ein vCenter würde reichen, da ich vor allem die Administration 4 einzelner Rechner zu aufwändig finde, kostet mir aber doch zu viel. Allerdings habe ich noch eine Synology DS211+ hier rumstehen, die dieses Jahr von einer DS412+ abgelöst worden ist. Und beide sind VMware zertifiziert :). Wird definitiv ausprobiert…

      isch;509882 said:
      Aber ein Board 85W bei 3,4GHz ? Oder hat du OC betrieben.Bei 4 Boards hast du nur noch 280W.Sind dann die ganzen Lüfter und die anderen Sachen schon mit dabei?

      Das waren immer Messungen am Netzkabel, also mit allem drumherum. Habe auch nochmal gemessen, mit und ohne Turbo Boost, mit Prime In-place Large FFT:SteckdosenmessungIdle (x16) 27WLast Prime (x34) 79WLast Prime (x36) 85WCPU-Z 1.66.1.x64Idle (x16) 0,756-0,768VLast Prime (x34) 0,960-0,972VLast Prime (x36) 1,008-1,020VCore Temp 1.0 RC5Idle (x16) 0,8005V 5,2WLast Prime (x34) 1,0157V 43,5WLast Prime (x36) 1,0658V 48,1WDa hing am Mainboard eine Intel 510 SSD mit frisch installiertem Windows 7 ohne jegliche extra installierte Treiber/Software, USB Tastatur und Maus, ein USB Stick und ein HDMI Kabel. Das Netzteil hat selbst bei 10% Last noch eine Effizienz von 89,95%, und 10% sind 86W.Der RAM (2x8GB) läuft mit 1,5V und die CPU auch mit voreingestellter Spannung. Vielleicht macht das den Unterschied. Oder mein wenig Euro Tschibo Messgerät misst Mist.Was kommt denn bei Standard-Einstellungen sonst so raus? Undervolting machen die Mainboards ja leider nicht mit…

    • #939496
      VTG01
      Teilnehmer

      … gib die mal einen Energy Check 3000 – ich denke mal dann können wir vergleichen.Aktuell läuft mein happywetter.at mit 5 Blades je 3,3 Ghz mit 2 Board Leiden je 8 Core, 1 Server mit 7 Core, mal Climate mal Malaria und der Rest Leiden, 2 sind Leiden /Malaria mit ein bisserl Clima.Das Ganze mit 1 SSD – aktuell 230 Watt – wobei das deutlich vom Projekt abhängt. Alle Cores auf Leiden komme ich um die 220 Watt, Rennt mehr auf Climate Prediktion komme ich gegen 240 Watt- wobei der kleine dann instabil wird (Credits bei LAiden um die 28.000 je Tag).Mein Hauptproblem dürfte die Kühlung sein – Bladeabstand mit 70mm ist relativ gering und meiner Lüfter sitzen zu weit weg um “durchzublasen”. Das Holzgerüst hatte ich mir zuvor auch gedacht – aber wegen der Überhitzung und Brandgefahr habe ich es dann gelassen – damit wäre man deutlich flexibler als mit fertigen Gehäusen. (PS: Bin eher mit Holzarbeiten vertraut als mit Metall)Alle Board fahren auf ner ASROCK B75M-ITX Plattform mit einem i7-3770. Ram ist unterschiedlich, mal 8 GB , mal 16 GB. Saft kommt von einem 480er Bequiete!, OS ist ARCH-Linux….. fein dass noch so ein “Wahnsinniger” im Team ist und uns voran bringt.

    • #939500
      Renovatio
      Teilnehmer

      Echt erstaunliches Projekt was du da leistest.

    • #939519
      n3Ro
      Teilnehmer

      Ok, ich habe jetzt ein Voltcraft Energy Check 3000 genutzt und komme auf die gleichen Werte. Das Tchibo-Ding war zwar billig, lag aber doch nicht so weit daneben. Ich habe allerdings mal einen von 2 RAM Riegeln rausgenommen. Ergebnis:14W weniger Verbrauch unter Last! Ein Riegel zieht also bei 1,5V knapp 1A.Dann sammeln sich die 85W ungefähr so zusammen:50W CPU2x14W Ram7W Rest (SSD, Mainboard,…)Kann das hinkommen? Sind die Corsair Vengeance LP so hungrig?

    • #939521
      isch
      Teilnehmer

      Also 14W kann ich mir nicht vorstellen.Meine die Liegen irgendwo bei 3-4W

    • #939535
      n3Ro
      Teilnehmer

      Ein paar mehr Messungen haben die Differenz bestätigt, jedoch liegt der erhöhte Verbrauch eher am Dual Channel Modus. Wenn ich 2 Riegel nehme, die nicht zusammen Dual-Channel fähig sind, sinkt der Verbrauch um die zirka 14W. Entweder wartet die CPU im Single Channel Mode in Prime auf den Arbeitspeicher, oder Dual Channel ist teuer im Verbrauch.

      Also nochmal zusammenfassend: 2 Messgeräte messen das gleiche. Die Gesamtverbrauchswerte sind plausibel (siehe Link; i7 3770K 72W im Linpack ohne Netzteil).

      50W Volllast ohne Undervolting halte ich für aussichtlos. Mit RAM auf 1,3V und TurboBoost aus konnte ich von 85W auf 75W Prime senken, wobei die hälfte der Ersparnis vom RAM Undervolting kam.

    • #939537
      isch
      Teilnehmer

      Sind den die 14W Ersparnis nur bei Prime oder auch im idle.Wie sieht es den aus wenn du Boinc rechnest sind es dann auch noch 14W?

    • #939536
      VTG01
      Teilnehmer

      naja, das liegt eindeutig an der fehlenden VCORE Einstellung. Aktuell fahre ich bei etwa -0,130 bis -0,165 unter Offset. Da kommt die Einsparung her. Speichertechnisch habe ich wieder mehr Vdram gegeben da er offensichtlich bei Climate das benötigt. Jedes Projekt rennt ein bisserl anders. Aktuell bin ich bei 5 Baldes 232 Watt (pendelt runter bis 228), macht weniger als 47 Watt je Blade bei multi 33 fahre ich mit dem Multi auf 37 dann geht zwar um einiges mehr – jedoch steigt der Strombedarf deutlich an. Was ich in Erinnerung habe kommt ein Blade ohne drum herum auf etwa 53-55Watt unter Leiden, bei Malaria oder Climate werden das dann um die 60-62Watt sein.

      4x 100% Last, 1x 90% Last
      2x beQuiet 14cm Ventilator auf Anschlag
      1x Noctua 12 cm auf Anschlag
      Standard CPU Kühler 4x (auf Anschlag)
      1x Noctua NH-L12 (ich denke auch auf Anschlag)
      Netzteil beQuiete Straight Power 480Watt
      1x SSD Samsung 840Pro 128GB

      nicht im Ergebnis ist der Dlink switch, der hängt noch nicht am Netzteil.
      OS: Arch Linux, Coding by Raffy23

    • #939541
      VJoe2max
      Teilnehmer

      Mal abgesehen von den Messwerten – das ist ein echt geniales Projekt. Super kompakt gehaltene Rechenleistung und das mit einfachen Mitteln. Gefällt mir sehr gut! :d:

    • #939583
      n3Ro
      Teilnehmer

      @VJoe2max/Renovatio/et al. danke 🙂

      Unter BOINC/FM@H gibts egal ob 1 oder 2 Riegel immer 70W Verbrauch (bei Standardsettings). Daher kommen bei 4 angeschalteten Board auch die 280W. Die restlichen Komponenten (Switch, Belüftung) gehen dann wegen der besseren Effizienz des Netzteils bei der Last noch unauffällig mit rein.

      Im (Windows-) Idle kann ich mit den ganzen Einstellungen und Kombinationsmöglichkeiten nur zwischen 26W und 29W schwanken; größer wird der Unterschied nicht.

Ansicht von 14 Antwort-Themen
  • Du musst angemeldet sein, um auf dieses Thema antworten zu können.
 
Zur Werkzeugleiste springen