Dual LGA2011 v3 ala projekt "Doomsday machine"

[DOC_ZENITH]

Pánové, je to tady, konečně se mi podařilo dát dohromady něco na čem jsem dělal už ňákou dobu. "Doomsday machine" je hotová a v provozu. O co se jedná? Základem všeho je páreček ES Xeonů.

Jedné se o ESka Haswellu-EP, konkrétní model nejde určit protože takovej CPU Intel nakonec nikdy nevydal.

Je to TDP 160W (v praxi ale toto je hodnota spíš podstřelená, jde vejš), je to defakto E5-2687W V3, ale místo 10 jader má 12, L3 má plnejch 30MB a má také funkční TSX a v AVX/FMA loadu se nepodtaktovává, ala jede stále na base turbu ( 3,1 - 3,4Ghz ) nikdy ne pod nim, díky tomu si myslim že přestřeluje to TDP protože E5-2687W v1 co měl 150W co jsem měl předtim topil tak o 40% méně, uchladilo ho cokoliv easy, s těmahle hochama v takovym prime či OCCT se i větší Noctua nenudí.

Zde pár obrázků:
Páreček CPU:
http://i.imgur.com/QHcNx7j.jpg
128GB RAM (Crucial DDR4 ECC-REG 16GB dual rank moduly, 2133Mhz CL15 1T commandrate)
http://i.imgur.com/lFmQ5nd.jpg
Deska:
http://i.imgur.com/ekRtWdr.jpg
http://i.imgur.com/xt79XzD.jpg
V Case:
http://i.imgur.com/YhPSsSD.jpg

U desky jsem se rozhodl pro Asus Z10PE-D8 WS. To byla asi chyba. rozhodl jsem se tak po dobrých zkušenostech s jejich dual G34 deskou. Ještě jsem přemejšlel nad D16, která má 2x tolik slotů pro mapěti, zase ale méně PCI-E (i když bez switchů), a nemá standardní LGA2011 socket, má ušší variantu kam nejdou standard chladiče, takže tu nakonec ne. Pak ještě tu bylo Supermicro, to je asi cesta kudy jsem měl jít, ale ten Asus mě tahal tim že má Sata express, M2, NVME boot, bios flashback a pod, to Supermicro nemá (skrblíci si prodávaj NVME desky jako separé nové produkty místo bios upgradu pro staré), zase má verzi s SAS 3 HBA ale nakoec prostě padnul výběr na Asus.

S deskou byl děsnej boj. Na starších biosech nefunguje vůbec. Po flashi a resetu cmos 1 naběheně, ale pak i když člověk savne bios (klidně defaulty) tak už ne, vždy se cyklicky restartuje ještě před postem. Poslední 2 nejnovější biosy "funbugujou", na 100% to neni. Post je na půl minuty (kor cold post po odpojení zdroje) ani resetovat se to nedovede OK, resetne se ale pak v půli postu failne, vypne se znova zapne a až pak naběhne. + Další tuna drobnejch bugů které v součtu znemožnily tunění pamětí. + Jeden masivní bug kterej způsoboval random pády systému mimo zátěž, ten jsem obešel zakázánim C6 powerstatů a vynucenim C3 (což v biosu píšou jako not-recommended, ale tak to prostě jede, default byl unstable). + Deska je nekompatibilní s highpoint 3520 takže jsem celej den migroval pole, a to co je na fotce s tou zvukovkou přes PCI-E to PCI PLX můstek, taky nic moc (první Pc na kterym to ever nefungovalo jak má). Prostě s deskou horror na několik dní než jsem to dal dokupy. Nevim jak moc velkej podíl na tom má že jsou to CPU co ta deska defakto ani nezná, asi jo, ale stejně bych od Asusu čekal více.

Teď k výkonu, zde neni moc co řešit, vydrtilo to vše co jsem kdy doma měl. MT a pod ani nemá smysl rozebírat, tam je to prostě brutus.

Aida starej vs novej stroj:
http://i.imgur.com/VF6dXkY.jpg
http://i.imgur.com/lbVFQzh.jpg

Cinebench:
http://i.imgur.com/VtVkuP6.jpg
(1CPU dal 1850)

V grafu jsou i ty moje starý Opterony, jen nevim jestli tehdy měli OC na 3,4 nebo 4Ghz.
Pak ještě takové obecné věci, třeba konverze videa z 30 na 60fps s dopočítáváním snímků přes SVP je více jak 3x rychlejší než na staré I7 (a to to umí 24 threadů max), atd, atd.

Co mě ale dost překvapilo jsou 2 věci.

1. Škálování. škáluje to na spoustě míst i tam kde Opteron neškáloval vůbec, nevim proč, ale je to tak.

2. Výkon na thread. Ten se dá celkem dost ovlivnit nastavenim QPI. Earny/home snoop mody preferujou nejrychlejší přístup do lokální či vzdálené paměti/cache, + veliké cachje (toto má rád Cinebench, Skyrim, atd) pak je zde ještě no snoop (to je nic moc) a pak cluster on die, což rozsekne L3 cache na 2 poloviny (protože jsou nad 8 jader z 2 kusů křemíku), ale s benefitem mnohem menších latencí do oněch cache (toto ráda Aida, staré UTčko, 3dmarky atd), celej systém se pak tváří jako quad-numa. Naskonec jsem zakotvil na Home-snoop a daul-numa, takovej ideál kompromis a 3Dmak2001 honit nebudu.

Dost mě také překvapil single thread výkon, čekal jsem že to bude achylova pata ale houby, je dobrej, vykleplo to tu I7 co jsem měl předtim na 4,3Ghz easy (Xeon E5-1650 což je defakto I7-3930K). Asi se na tom pozitivně podepsala ta obrovská propustnost a ty velké cache, ale je prostě dobrej.

3Dmark 01:
I7 3930K @ 4,3Ghz: 55656 points.
Xeon stock: 57209
Xeon + QPI tweak: 60142

UT 99 test (128 botů v 1 místnosti):

I7 3930K @ 4,3Ghz: 55fps.
Xeon stock: 51fps.
Xeon + QPI tweak: 63fps.

Opravdu jsem nečekal vítězství, kor když ten Xeon v praxi běží o Ghz pomaleji, ale je to tak. Tzn spokojenost ve všech ohledech, i power management je v pohodě, každé jádro i L3 blok má vlastní, tzn když hraju něco single threaded, tak se spotřeba CPU skoro nehne, z PC jde stále stejně studenej vzduch, idle jede vše 1600Mhz 0,7v a je klid. Tzn sečteno a podtrženo ve starejch programech o 20% lepší jak má bejvalá I7 a v MT o 300-400% lepší. + zde máme TSX, takže do budoucna se ještě je na co těšit. Po skončení testů jsem vypnul HT, protože bez něj je prostě život lepší, neni nad to to full vylodovat + nasadit priority a mít stále svižnej systém, což s HT moc nejde (na tom Opteronu toto taky neexistovalo, jakmile se oba CPU vylodovaly byl to horror i s 1 thread na modul, asi HT bottleneck).

Takže jsem vám teď nasadil laťku, Flankere tohle bude chtít hodně dusíku aby jsi se přiblížil.

[DOC_ZENITH]

Ještě jsem zapoměl CPU-Z, ten to vidí takto (HT bylo off)


Hwinfo64 nejde, crashne při startu.

[flanker]

ty kráso . To je pořádnej multithread mosntrum. To byl docela ranec za celek, že?:) Kua...

[Fofrer]

pěknej bordel ve skříní.. Jako hustý.. sice bych asi takovou šílenost ani nechtěl.. ale zajímavý.. apropó.. kde rostou takový kousky křemíku?

[DOC_ZENITH]

Ani se neptej... no, rostou v Intelu, ale sklízej se v číně. Taobao ,něco jako naše aukro. Ale musíš to řešit přes lokální kontakt, když ho nemáš tak různý překupníky, dále 70% HW aukcí kde někdo tvrdí že něco má v xx množství tak to ve skutečnosti nemá, atd. Tfuj, byl to boj a dodnes z toho mam takovej divnej pocit. Hlavně největší problém je riziko, že ti prostě shrábnou prachy nic ti nepošlou a nic neuděláš.

Já jsem dlouho držel a používal starej E5-2687W C0 ES, ale nedařilo se mi prostě sehnat druhej do páru, a pak jsem viděl tyhle a viděl jsem že maj TSX tak jsem do toho šel. Btw jeden CPU je mechanicky poškozenej, zespod mu chybí pár odpůrků ale na funkci to nemá vliv.

[MrJojo97]

Ty kráso tak to sa moja 5960X môže ísť zahrabať btw koľko ta to stálo?

[DOC_ZENITH]

Sorry cenu a prodejce neudám.

[Fofrer]

tak pro zajímavost, bylo to víc nebo míň jak 20k/CPU? Co na to vlastně zdroj? Teoreticky při vytížení všeho bude mít bobky
OC jde nebo je napevno frekvence?

apropó využíváš to nějak, nebo je to pro "ten" pocit?

[ArgCZ]

tak tohle je opravdu vyjímečnej stroj, gratuluju, doufám že ti Asus tu desku pořeší

mimochodem ty chladiče to fakt dávaj?

[DOC_ZENITH]

Pochybuju že pořeší, spíš jsem si zvyknul, navíc jsem později zjistil že zde (snad můj první PC ever) dobře funguje sleep mode, tzn dlouhej post se stal irelevantnim ostatní je více méně vyřešené či méně podstatné.

CPU jsou boužel locked, takže taktovací orgie se nekonaj, default násobič je 31x max turbo jest 34x a max FSB je 103 takže to jest asi tak vše. Co se týče chladičů, Xeony bejvaj obvykle studený a Intel si tam hodně drží TDP zkrátka, před tim jsem chvíli měl Sandyho E5-2687W což je 150W CPU a byl studenej. Tohle je 160W ale uugh realita bude naproso mimo, topí to realisticky minimálně 2x tolik co ten starej (plus teď jsou 2 CPU takže 4x) chladiče to daj ve full loadu 75-80 ale jde z toho hooodně tepla. V light loadu je to jak jsem už psal díky dobrému power manaementu v pohodě. To přestřelené TDP je taky asi proto že tyle CPU nemaj žádné power levely což normálně Xeony mívaj, tyhle běžej full takt pořád, normal Xeony v AVX loadu ubíraj takt aby se vešly do TDP, tyhle ne.

Využití je sporné. Jedinásituace kdy jedu full load jsou konverze avisynth videí na 60fps s vektorovmy dopočítávánim přes SVP algoritmus, tam to opravdu je 3x rychlejší ne co jsem kdy měl v ruce. A taky je to dobrý že člověk může klidně real time nahrávat už s kompresí do 4K 60fps přes OBS a na výkonu to ani nepoznám, protože hru hodim na jeden CPU enkodér na druhej a jede se. Pocitovka je ale nejdůležitější chtěj jsem "upgrade" a sorry 4 jádro mam už od Nehalemu, 6 jsem přešel bez velkých nadšení, jako OK ale žádná bomba, a současný prodejní I7 a Xeony co maj aspoň 8 jader zase nemaj TSX tzn failujou v mejch očích jako future-proof koncept. Když jsem tyhle CPU viděl tak mi to prosě nedalo.

Jo ještě zdroj, krmik to starym (2008) Corsairem HX750W, je tam GTX970 plus 4 disky. Ani jsem to neměřil Watmetrem, tenhle zdroj je držák dá to s rezervou, jen neměl 2x CPU 8-pin, tzn jeden jsem musel zbastlit z jednoho z grafických 6 pinů. Ale to je úprava už dob co jsem měl ty dual G34 Opterony, což byl cool sroj ale ačkoliv jsem měl unlock saply a dostal jsem těch 24 FX jader na 4Ghz oproti tomuhle je to padavka, v mass multithreadu o 50% horší a v praktickém použití tak 4x horší.

Lidi mi říkaj ať s tim jdu na HWbot, ano okamžitě bych tam trhnul tunu world rekordů, hlavně protože žádné komerí 12 jádro neni tak rychlé jak tyhle, tzn automaticky beru všechny tituly v oblasti 12 a 24 jader a kdo ví co ještě, zatim jsem se k tomu ale neměl plus je dost možné že moje výsledky neuznaj a vyhoděj mě otamtud protože bych jim "kazil" klub přátel dusíku nebo co si to tam pěstujou.

[pbjun]

Konečně tady někdo představil opravdový pokrok! Mám i7 3770 a jak tak koukám na trh tak mě zatím žádný upgrade nenapadá Spíše se možná blbě zeptám, umí to fungovat se dvěma různými CPU? Třeba obyč 6ti jádrovej Xeon E5 2603V3 a k tomu třeba E5 1620V3? Jde mi o to, že na některé programy by mi stačil slabý CPU s více jádry (tzn. rozdělím si priority pro jednotlivé programy) a na hry bych měl 4 jádra se slušným výkonem...

[DOC_ZENITH]

1620 ani nemá SMP a je single only a ne, nejde to. Resp technicky vzato by to možné bylo, u slotu 1 to dokonce fungovalo, ala šly kombinovat různě rychlé CPU i PII s PIII spolu jely (a systém byl SSE compatible celkově, absence na PII tomu nevadila), ale tehdy to bylo naposledy, Intel to dnes nepovoluje, proč, těžko říci.

[havli]

Nekde na webu jsem videl, ze se jim povedlo rozjet dual-core + single-core Opteron v socket 940 desce... takze tri jadra dohromady. Ale to uz je taky hodne davna historie.

[DOC_ZENITH]

J, K8 byly stejně slepence komunikující přes HT takže je defakto fuk jestli je další jádro v jinym socketu nebo ne. I nyní neni technická limitace co by to znemožnila, jen Intel to prostě nechce. Hlavně proto že vysokotaktovaný Xeony jsou mnohem drašší jak ty co maj více jader ale nízkej takt. Kdyby umožnil kombinovat třeba cheap fast 6 jádro a pomalý 18 jádro, spousa lidí by do toho šla a Intel by ztratil dost peněz.

[ifkopifko]

Si si istý, že je na mieste sa vytešovať z prítomnosti TSX? Že nie je na týchto ES deaktivované predsa neznamená, že funguje korektne. Teda, že je opravené, lebo nejaká HW chyba je asi dôvodom, prečo je TSX na CPU danej generácie deaktivované.

[Fofrer]

je fakt, že to nenabízí ani u obdobnýho E5 Xeonu, tak v tom asi háček bude

[DOC_ZENITH]

No, první TSX CPU co intel měl v rukouch byl první haswell a jeho ES, od té doby s tim dělal, testoval to atd. K onomu locku došlo měsíc před uvedenim LGA2011-3, intel navíc nikdy neuvedl přesnou dokumentaci k onomu bugu plus errata, prostě jen hej novej mikrokód pro tenhle seznam CPU kterej odstraňuje podporu TSX, koukjte ho implementovat, jenže můj CPU na tomto seznamu neni heheh, je na tom seznamu active. Intel totižnechal aktivní sady ES pro vývojáře.

Realisticky, i kdyby tak byla chyba, tak jestliže jí hledali tak dlouho tak to musí bejt obrovská... bude to něco jako TLB chyba u prvních K10 a podobné věci ala třeba při xx intacních yy kodu plus VT-d virtualizaci může teoreticky crashnout volání zzz, něco takového. Vichni kdo se TSX zabejvali než to intel vypnul na žádnej problém nenarazili. Já se i domnívám že to udělal z marketing důvodů. Proč?

Protože Haswell-EP má max 18 jader, ale EX taky. Neni to jak u ivyho kde EP měl 12 a ex 15. Tzn jevyšší E7 ex platforma jaksi ztrácí význam (krom 8 socket konfigurací protože E5 umí max 4), kdo by pak kupoval ex kor s tim jeho spožděnim? To že je DDR3 compatible a jde s bios updatem osadit do stejnejch boardů kam se sázel Ivy asi moc pádnej argument u strojů za miliony nebude. Třešničkou na dortu je že tato kompatibilita je zároveň achylova pata. U masivních serverů s tunou paměti se paměťový registry na ECC reg modulech stávaj těžkym bottleneckem, to je nej výhoda DDR4 oproti DDR3 o které se moc nemluví protože v konzumnim HW to neeexituje. Tento novej standard se jmenuje LRDIMM ( má deska a CPU to maj ), zjednodušeně CPU nyní může komunikovat pomocí speciálních bufferů přímo do banků k čipům, nemusí přes paměťovej registr, zde o tom více:

http://www.edn.com/design/designcon/443 ... -bandwidth

To opět E5 má a E7 co... proč jí kupovat...
No a tudiž dle mého názoru Intel vytahnul černýho petra aby prodal více xx krát předraženejch E7 ( kde je ten samej Haswell ale rázem prý s bugless TSX) systémů než x krát předraženejch E5. A v budoucnu samo sebou také motivace pro Broadwell že. Dokonce Asus u některejch mainstream 1150 boardů to "zapoměl" vypnout a nikdo to neřeší. Některý ultra mobile kousky to maj online doteď offiko, a je to stejnej křemík, nikdo neřeší.

Dle mého názoru to teda byl spíš ekonomickej tah než reálná hrozba. Aby intel dokopal lidi (resp spíš korporace, heh) do E7 a v budoucnu více zpopulárnil Broadwell-E. Stejně je to poslední CPU svého typu. LGA2011 končí, s ní i celej koncep Xeonů E5 a z nich odvozenejch okuchanejch verzí co se prodávaj jako high end I7. Skylake-E bude novej koncept ez QPI, single CPU only, SMP už bude doménou jen Xeonů E7. Proč a jak jsem tu rozebíral v jinejch threadech. Já se tedy žádnejch rádoby TSX bugů fakt nebojim.

[DOC_ZENITH]

OK, takže pár tejdnů dozadu vyšel novej bios na Z10PE-D8 WS, až tenhle víkend jsem se odhodlal jej zkusit a dopadlo to dobře. Všechny nové NVME features tam jsou včetně podpory pro "hyperkit" což je ta věcička předělávající M2 slot na SFF-8639 na kterej se napojuje 2,5" varanta Intelu 750.

A taky byl odstraněn bug s nestabilitu při použití C6E kde se muselo používat jen C3. Nyní je C6E plně funkční.

[flanker]

by mě zajímalo, kdo tyhle server desky dělá, defakto v ČR tutově nikdo, ale je fajn, že si dají tu práci i tenhle segment držet co do pravidelných updatů

[DOC_ZENITH]

Tak on Asus to defakto propagoval, to NVME musel zprovoznit už takhle to bylo dost pozdě, byla to jedna z mála papírovejch pák co měl proti supermicro v tomto segmentu. A další updaty určitě budou protože až přijde Broadwell-EP/EX tak nové desky nebudou, vše se bude řešit přes ty současné jen s novými biosy.

Co jsi myslel tim "Kdo tyhle desky dělá"? koupit se daj normálně. a Servis nevim, eshopy to budou řešit klasicky přes dodavatele. Zatim jsem žádnou server či WS desku nereklamoval a snad to tak zůstane, i když u týhle jsem byl hodně blízko díky zabugovanosti biosu, ale jak jde čs tak jí postupně odlaďujou tak už jsem se celkem uklidnil.