Dual LGA2011 v3 ala projekt "Doomsday machine"

[havli]

Diky za upresneni, takze to zkusim - napred sezenu desku a pak se poohlidnu po nejakem Xeonu, pro zacatek neco mensiho. Tady urcite v budoucnu cena jeste klesne narozdil treba od s1366 a SB-E, ktere jsou uz dost blizko sveho dna.

[DOC_ZENITH]

No dobře tak se přidám k dotazu i já.

Jak se řeší případné manuální rozdělení jader na např. gaming (typicky 4 nebo 6 jader + obří cache) a streaming (zbytek jader, 14 nebo 12)? Popř. jsou-li udržitelné konfigurace 1), 2), oboje nebo ani jediná?

Myslím tyto: (uvádím jen násobiče, max BCLK se může lišit kus od kusu a tak ho neuvádím)
1) 4C@ratio 38 + 14C@ratio 32
2) 6C@ratio 38 + 12C@ratio 32

LGA2011 Xeony jsou velká monolytická CPU s monolytickou inclusive cache. Tzn řešit se nemusí nic, všechny jádra jsou plnohodnotná a na plnym výkonu a je jedno kde jakej proces běží protože ke všem jádrům to má díky ringbusu při komunikaci stejně blízko. Tzn řešit to nemusíš vůbec.

Samo sebou můžeš použít process lasso a zamknout si hru třeba na 6 threadů (což je dle mého měření ideální číslo pro DX11 hry), a enkodér na ostatních 12 (počítám provoz bez HT), a je to, to už je na tobě.

Jinak přemejšlim o prodeji současného setupu, jsem drobátko ve finanční nouzi, proto. Kdyby někdo mněl zájem dejte vědět, jinak to asi pak půjde rovnou na Ebay.

[DOC_ZENITH]

Hodim sem takovej malej teaser:

https://i.imgur.com/DuPPXlC.jpg

Doomsday machine 3.0 se dostala do fáze finálního sestavení. Řekněme prostě že grafické sucho jsem si vynahradil jinde. Vše důležité mam v rukou a funguje. Teď mě ještě čeká řešení chlazení (to na fotce se neuchladí), úpravy casu a podobné radosti.

[python.p]

Víc! Chceme víc informací!

[werygood]

Uhh, z tebe má ČEZ fakt vývar

[pbjun]

Jedno nepojízdné elektroauto do domácnosti a je vysmátý

[DOC_ZENITH]

Neni to zase tak hrozný, podařilo se mi to odladit na idle "jen" 200W na zásuvce. Pokud vše vyjde tak dneska to už bude v case.

[DOC_ZENITH]

No, je vesměs hotovo. Upřímně řečeno, trvalo to déle, a stálo více jak peněz (novej zdroj, case, spousta věcí které jsem stejně chtěl koupit ale taky mohly roky počkat) tak námahy než jsem čekal.

Nakonec celkovej úspěch. Vždycky jsem chtěl postavit Xeon E7, ve své době to byl takovej hype produkt co jsem nikdy nemohl mít, nesetkával jsem se s nim ani u multiCPU workstationů, byl to prostě "mainframe" produkt. Tak teď jsem si tuhle "hračku" pořídil. Podařilo se mi i do casu narvat všech 5 HDD + SSD + až 4xM2 protože deska umí bifubrikaci na všech slotech a sedla si s Asus hyper M2 kartou.

Je to Supermicro X10QBL rev 2, DDR3 verze. Deska je nehorázně gigantická a ještě k tomu atypická, má 42x42,5cm a krom systému od Supermicra ze kterého pochází se vešla jen do jednoho už se nevyrábějícícho a nesehnatelného Rosewill casu. Moje jedniná šance nyní byla Fractal Define 7 XL jakožto největší case co se týče prostoru pro board na trhu.

Nakonec se tam o pár mm vešla a i do pozice kde seděj PCIE sloty na jejich díry v casu. Musel jsem ale řešit všechno. Neseděl jedinej šroub, takže jsem vrtal vlastní díry do backplatu, vyvýšené oblasti vpravo překryl kartony aby nic nezkratovaly (board má součástky i zespodu), no, nakonec OK.

Další problém bylo jak tam dostat kabely, protože zdroj je dole a deska překryla všechny otvory pro ně. Zbyla jen půlka jednoho otvoru úpnlně dole a díra dole v rohu u předních fanů, takže jsem tudy musel ňák bastl-style vše natahat, nakonec úspěch. Co se napájení týče, deska je naštěstí ATX kompatibilní a neřeší odkud si proud bere. Má všechny 12V a země spojený tzn naběhla jen s ATX konektorem i bez jakéhokoliv CPU 8-pinu. To mi ulehčilo práci protože jsem nemusel bastlit redukce z GPU 8-pinů a prostě jen rozdělil CPU 8-piny na 2x4 a ňák to pozapojoval vyrovnaně. Děkuji Racecarovi za jeho Leadex superflower 1600W protože můj 12 let starej HX750 by tohle už nedal.

Když už mluvim o zdroji, je velkej takže spodní šachta pojmula jen 2 disky místo 4. Nakonec se mi do systému podařilo narvat všech 5, opět trochu bastl stylem držej tam na 2 šorubech, jeden dokonce na jednom ale co, drží a funguje to.

https://i.imgur.com/PgfKfHt.jpg

Horní strana tam začíná větší sílenství. Deska má 4 PCI-E sloty, 16x z CPU1, a 8x,16x,8x z CPU2. To jest vše a já potřebuju zapojit grafiku, SAS řadič, zvukovku, dvě M2ky a USB 3.0 řadič (protože deska ho nemá, její chipset je serverová verze X79). Navíc na nic neni místo, protože deska je narvaná až ke spodku.

Vyřešil jsem to tak že grafika je nahoře nad boardem a vede k ní riser ze spodního 16x slotu, zatim je tak blbě šikmo protože riser je moc tlustej a nevejde se rovně, už mam na cestě jinej riser, ale aspoň drží a je přišroubovaná. Nad ní je v 8x slotu zapojená PCI-E switch karta co dělá z 1x1 slotu 4x1 a z ní jsou vyvedený 1x risery kde v jednom je zvukovka co je přišroubovaná nad grafikou a v druhym USB3.0 řadič co je zatím provizorně v casu vepředu, časem jej snad upevnim do přední 5,4" pozice, protože vzadu už nikde místo neni. Díky bohu za ty 3 pozice "nad sloty" co tenhle case má kam jsem mohl vyvést ty risery.

No a nad tim je v 16x slotu ta Asus Hyper M2 karta, v ní jsou dvě M2 SSD, a nad tim v poslednim 8x slotu je LSI 9260 SAS řadič.

https://i.imgur.com/I35g5dm.jpg

Vepředu v casu je ještě fan controller, je nutností protože deska má ňáké své vlastní nekompatibilní PWM, většina fanů tam jede stále na 100% ale ty Noctuy třeba se jen škubnou a zastavěj.

Ještě k boardu. Platfoma LGA2011 E7 Xeonů je taková zvláštní. Neni kompatibilní s 2011 nebo 2011v3, Startovala u Ivyho, ne Sandyho a nedošlo u ní ke změně platformy z Ivyho na Haswell/Bradwell. Deska má tedy poměrně starej základ, jak z dob X79 a tomu odpovídaj vlastnosti chipsetu. Dobrý ale je že Supermicro se o ní dodnes stará a nové biosy přinesly nové features. Jednak jde dostat RAM vejš (vejš než Intel řiká že by mělo huh), a taky přinesly třeba podporu NVME a pod věci co deska původně vůbec neměla. Deska se dělá ve 3 variantách, jedna z nich je s DDR4, já mam verzi ještě s DDR3 ale už s podporou všech CPU i 14nm.

K pamětem CPU nepřistupuje přímo ale mezi ním a sloty je ještě čip zvanej Intel Jordan creek. Každá dvojice kanálů jeden má, je to buffer optimalizující prostupnost a umožňuje provoz i naprosto šílenejch konfigurací typu octa-rank bez LRDIMM modulů a pod. V Případě použítí LRDIMM pak deska dokáže pojmout až 2TB RAM, já tam nyní mam skromnejch 256GB RDIMM. I tak ale díky supermicru za to že šly mimo specs intelu a umožňujou provoz pamětí rychlej než jsou spec. Jde hlavně o ten jordan creek čip, kterej oficiálně umí běžet v 2 režimech, sync a 2:1 kdy interně pracuje na dvojnásobný frekvenci vůči RAM což zvedá výkon, ale takt RAM je pak omezenej na menší. S mou konfigurací by to mělo bejt 1333Mhz, s více RAM ještě méně, ale supermicro to s novejma biosama prolomilo a můžu tam dát 1600 a funguje to ok.

CPU jsou čtyři Xeony E7-8891v3 ES. Výhoda Xeonů E7 je že pro ně prakticky neexistujou podvozky daj se teda sehnat cheap. Tohle jsou 10 jádra na 3,2Ghz ale s plnou 45MB L3. + Haswell-EX má pár dalších výhod jako třeba fixnuté TSX a pod. Sehnal jsem si i jeden non ES na flashe a tak. Pokud se systém osvědčí tak možná v budoucnu upgradnu na V4, což by bylo +100Mhz, ňáké to IPC navíc a bump u cache na 60MB per CPU. Jo a taky by fungovala "trusted platform" a nemusel bych dokupovat TPM modul (eghm koukám se na tebe win11 eghm), protože ta u ES nefunguje.

Co se problémů a náladovosti týče, tak překvapivě málo. Jeden RAM slot má mizernej kontat (a je to slotem ne modulem), a dalščí 2 věci co pravděpodobně maj souvislost s ES CPU (protože s tim non ES kusem se mi to nedělo), jednak deska když je vše nastavené v EFI, včetně zapnutého VT-D, 4G dekódingu, CSM komplet všude off a pod, tak cca v 50% případů nejde udělat soft-restart, nedojde pak k postu jen to začne řvát. Musí se restartovat tlačítkem. Další "bug" ESka je že u Nvidia GPU (jinde ne) grafika defaultuje do PCI-E 2.0 protože to detekuje X79 s neznámym CPU, dá se to ale poladit tim patchem původně určenym pro SB-E a nahodit 3.0. M2 disky a vše ostatní běží v 3.0 jak má. Další bug je že když je v USB z chipsetu připojená myš tak při postu nejsou detekována žádná USB, systém ale bootne a v OS vše jede, je to jen otrava když chce člověšk do biosu, nakonec jí asi zapojiím do toho 3.0 controlleru.

Hmm, co bych ještě řekl, jo, výkon. V dnešní době je tohle už překonanej systém, kdejakej lepší moderní Threadripper mou současnou konfiguraci dá. Ano pro top MT výkon bych desku mohl osadit až 4x24 jádry, ale to bych stejně nevyužil, i těch 4x10 teď pojedu bez HT, protože win maj max smysluplnej počet threadů 64. Pokud má systém víc musí se se to rozdělit na grupy a většina SW s tim vůbec neumí pracovat. Takže radši 40C 40T a s numou si pohraju přes process lasso.

Tady je obligátní cinebench. Ten 5436 výsledek nad tim je s HT. Ještě jsem zkoušel 8C na každym CPU s HT, a výsledek je cca stejnej jak 40C bez HT, takže já raději bez HT.

https://i.imgur.com/pfHpMfZ.jpg

Herní výkon je... uff, no, vzhledem k tomu že jsem přešel z decentní 5800X s decentníma RAM což patří mezi špičku, tak jediný co se dá očekávat je katastrofa. Jediný co to zde může aspoň trochu zachraňovat je ta cache, ale je zde numa, 8 vzdálenejch controllerů, DDR3 na 1600, jen 3,2Ghz, atd.

Na to co to je to ještě nedopadlo nejhůř. Můj oblíbenej CPU limited FFXIV Heavensward benchmark, 1024x768 high tak 5800X dal 38104 bodů. Tohle dalo komplet auto 20367 bodů. Když jsem přes process lasso zamknul benchmark aby neskákal cross CPU zvedlo se to na 22834 bodů a když jsem systém nechal běžet jen s jednim CPU (ostatní tam stále byly ale používaly se jen jako mem a PCI-E controllery, žádný aktivní jádra) tak 24587. Je to slow ale ve finále je to "jen" o 35-40% pomalejší mohlo bejt hůř. Dneska jsem na tom systému už něco hrál a dá se. Chová se to dokonce lépe než můj dual CPU systém pár let dozadu. Asi je to tim že Xeony E7 maj 4 QPI linky, ne 2, tzn každej CPU neunstále vidí svého souseda a do všech 4 a jejich cache/RAM je stejná latence, nikde nenastvává situace že by se to k ňákému muselo dostávat přes jinej.

Zdaleka největší problém a na čem jsem nejvíce vytuhnul bylo chlazení. Sockety jsou totiž narrow typ, tzn nejdou na ně dát standard LGA2011 chladiče. Noctua sice dělá chladič pro tenhle socket, ale je moc velkej, dělanej pro desky s 2 sockety co je maj za sebou a celkem daleko, ne tahle co má 4 hned vedle sebe. Možností moc nebylo, nakonec se mi povedlo sehnat tyhle pěný měďáky ale s těma akasa fanama se to neuchadilo. Tak jsem sehnal malý Noctuy, to už bylo lepší na stole ale v case jaksi ne. Takže na řadu přišly Scythe ultrakaze krávy co jsem díky bohu po mnoha letech stále našel. Teď už se to uchladí ale budu muset vyměnit větráky v case za lepší pro airflow a horní dekl jsem prohodil radši za ten otevřenej. Kdyby i to nebylo dost musel bych jít zas do ňákýho total bastlu, jako třeba 4x feru (vešla by se), ňák jí tam přidělat + zbastlit pak windtunel mezi ferama a dát ultrakaze na každej konec.

https://i.imgur.com/dtKxNc6.jpg

Spotřeba v idlu celého systému s disky a se všim je 315W na zásuvce (uuuuh). Peak load ala CPU AVX prime small fft + GPU ve furmrku k tomu bylo cca 1100W, největší peak co jsem na wattmetru zahlédl bylo 1200 sekundu než zasahnul TDP limit. Tzn zdroj se nudi nebude a to je tam zatim jen GTX1070. Během hraní je spotřeba 500-540W uuups.

[R0mi]

Tak to je ozaj projekt
Ale dobré, prekonala to v CB R15 aj moju 5950x bez PBO
https://imgur.com/is65dAf
Budeš pridávať aj nejaké ďalšie benchmarky?

[DOC_ZENITH]

Asi moc ne, leda že by někdo něco konkrétního chtěl. Spíš si s tim budu hrát a tak různě zkoušet věci pro sebe.

[Shaquille]

Proc si to nedal do rackove skrine? Kvuli hluku chlazeni?
Jinak je to slusny ulet, presne tohle jsem od tebe cekal. At ti to maka... Btw nebyl si to ty, co se rozciloval nad ekologii kryptomen a pak si poridis monstrum, co zere 300 v idle? ))

[DOC_ZENITH]

Do žádné se to nevejde. Neni to standardní EEB board, je to atypická Supermicro věc co pasne přesně do jednoho jejich casu a v jeho přítomnosti bych (akusticky) nevydržel. + Jednoh dne to půjde o dům dál a celá takhle věc bude mít hodnotu celku.

Jinak dnes jsem na tom jel celej den bez jedinýho problému, takže vše se zdá bejt OK a stable. Ještě pořešim ty case fany a pokud se neobjeví žádnej zádrhel tak asi objednam ty V4ky.

K tomu porovnávání s mingnem, to chápu, ale ani to neni porovnatelné, jednak to neběží 24/7, druhak to má sice 300W v idle ale to má jedna těžící 3080tka a narozdíl od těžby to taky dovede něco udělat. Má to dost paměti že to otevře a je schopný zpracovávat/renderovat projekty z práce (papaj obvykle někde mezi 160-200GB RAM), a pod. Je to taková tučná leč už dnes stárnoucí workstation. Problém je jaká alternativa, intely suxxujou (Do Sapphire rapids možná ještě rok), a TR neuměj RDIMM, muselo by se jít do PROčka nebo Epycu a to by ta platforma nestála 2K dolarů ale 20K.

Hlavně ale je to takovej symbol svojí doby, doby kdy tohle byla naprostá x86 špička, kdy Intel ještě byl na špici, než přišel s retardovanou mesh ve skylake-X, než přišlo AMD a pod.

[havli]

Tomu rikam extremni masina

Docela by me zajimalo, jak na tom beha multitasking - konkretne takhle:

Na jeden nebo dva CPU hodit napriklad encoding videa. Zbytek nechat volny a spustit hru. Schvalne, jestli bude meritelny vliv proti stavu, kdyz bezi jen hra samotna.
Kdyz tohle udelam na jakemkoliv single-socket PC (treba R7 3700X), tak jdou frametimes do haje (a to i v pripade, ze omezim encoding na 12 threadu (s low prioritou) a hra vyuziva maximalne dva).

[pbjun]

Tak jasné že Hlavně když máš reálně jen 8 jader. Aby si to nepoznal tak bys musel nastavit u videa 6 jader a zbytek nechat hře. Já to třeba u i9 10900 nepoznám, ale musím mít vyplý ht a nastavené reálné počty fyzických jader.

[DOC_ZENITH]

Ne, v tomhle má Havli pravdu. I když máš dost jader tak se ti navzájem brzděj protože sdílej cache, prospustnost RAM a pod. Existujou typy zátěže vedle keterejch prostě nemůžeš pohodlně dělat (natož hrát) bez ohledu na počet free jader protože sežereou třeba všechnu mem bandwith. Sám jsem tohle pozoroval, hlavně u Intelů co jsou závislý na Smartcache, tzn vše od Nehalemu dodnes krom mesh SK-X derivátů, tak celej benefit L3 cache a její pozitivní vliv na hry letěl hned z okna jakmile tu cache něco jiného zasaturovalo. Bohužel si nemůžeš vybrat nebo prioritama zvolit co má mít přednost, OS to tak bohužel neumí ukočírovat.

Nejvíc to bylo cejtit když jsem měl ten E5-2696v3 s turbo hackem na 4Ghz, v hrách si vedl velice dobře díky jeho 45MB L3, ale musela běžet jen ta hra. Jakmile měl začíl ňákej multitasking tam hup, 1/3 herního výkonu v trapu. Jakmil to bylo něco co saturovalo mem controller tak se přidal i stutter. Takle to bylo vždy, paradoxně Ryzen má trochu menší dopad protože jeho cache je víc tupá, je to jen victim cache ale i ta benefituje z toho když může bejt celá pro jeden program, kor u CPU co maj jen jeden CCX blok.

Havli - Ano tohle je jedna z výhod multiCPu systému, pokud si to člověk dobře lockne tak co běží na CPU 2,3,4 nebrzdí to co běží na CPU1. Teď jsem si to zrovna odzkoušel, nechal jsem v cyberlinku enkódovat 4K H265 video a zamknul to na CPU 2,3,4 a na CPU1 jela, opět zamčená jen tam, CPU limited hra a vliv na FPS byl nula.

Jedinou vyjímkou by mohla bejt aplikace co by sežrala prostupnost RAM všech čtyř CPU, protože RAM nezamkneš a každej CPU vidí plnejch 256GB, tzn, kdyby tam byl proces kterému by nestačila prostupnost těch 3 CPU začne brzdit i CPU1. To ale enkóding a rendering co jsem zkoušel neni.

[Mrazák]

Zdaleka největší problém a na čem jsem nejvíce vytuhnul bylo chlazení.

Tohle jsem resil vytisknutym adapterem z narrow-ILM na klasicky ramecek ve stylu starsich AMD platforem (939-AM3). Hned je pak vetsi vyber

https://www.thingiverse.com/thing:4585007

[DOC_ZENITH]

Dobrej nápad, vidíš už stárnu, tohle řešení mě vůbec nenapadlo. I když v drtivý většině případů by to tam stejně nešlo dát protože orientace pasivů u chladičů pro AM3 bejvá napříč těm úchytům, ne podél, ale něco by už určitě šlo vymyslet. No nic, už jsem se vydal touhle cestou, vzhledem k tomu že to nyní "uchladim", tak už to tak zůstane.

[Mrazák]

Tak treba stare Freezery 64 maji orientaci spravnou, treba by se vesly, pokud bys nabastlil nejake uzsi vetraky

[pbjun]

DOC_ZENITH: To se sice brzdí kvůli cache, ale né tolik jako když jim přidělíš virtuální jádra. Když přidělíš virtuální jádra tak můžeš klidně přijít o 90% výkonu, ale když přidělíš fyzická tak je to okolo 15 - 20% max - což Tě ve hrách zas tak nepálí. Já s i9 10900 tyhle problémy nemám, ale mám vyplé HT - právě abych nepřiděloval virtuální jádra. Ano nějaká ztráta výkonu tam je, ale né nějak extrémní, samozřejmě fyzický CPU je fyzický CPU, na tom nikdo nic nezmění.

[DOC_ZENITH]

Tohle máš pravdu, je to jeden z důvopů proč nyní jedu HT OFF. Windows doteď nedovedou používat korektně HT a považují jej za další fyzická jádra, tzn pokud viděj že maj k dispozici další volné prostředky a SW si o ně řekne, nahrnou to na HT jádra i když ony HT thready budou brzdit jinej soft kterému jsi dal větší prioritu. Prostě s HT ve win nefunguje process priority management.