Analýza latencí gpu - FLACalculator

[PET5]

Opravdu by to chtělo nyní udělat co nejvíce měření u různých druhů grafik. Protože tu možná brzy budou DirectX 12 jako alternativa k Mantle, tak ať máme s čím srovnávat jejich přínos.

[webwalker]

Tak po delším čase zase nějaké změny u FLACalculator. Díky ChaoSborn jsem se dostal k frametimes logům, které vytváří Star Swarm benchmark. Připrogramoval jsem tedy import těchto dat, takže nyní můžete měřit výkony gpu i v tomto demu.

Nějaké výsledky měření od ChaoSborn:
http://www.upnito.sk/0/dfb9mxvgxgmnzbrn ... d9bgdc.jpg

PS: bulgarien mi také naměřil náš Siege Of Shanghai v BF4 na HD7850 s Mantle a DX11. Jak to (ne)dopadlo jsem hodil do vlákna o Mantle.

[RAD-x]

Jen tak mimochodem, BF4 po patchi před pár dny začal chodit jinak na GCN i na keplerech a to jak pod mantle tak pod DX, čili měření je třeba zopakovat.

[Ache]

Tak sem zkusil ten Swarm...

Oficiální výsledek benchu: 52.74 fps

Výsledek z FLACalculatoru:
http://abload.de/img/gdfljhgjdkhgm8s12.png

EDIT:
Ale jinak ten benchmark je úplně o ničem, pokaždé ten průběh vypadá jinak a ačkoliv fps v tom FLAC je +- pokaždé stejný, tak avg. fps se generuje náhodně v rozsahu 45-55fps na mé sestavě, což je fail jak svině. Benchmark tedy o ničem.

jiný průběh: http://abload.de/img/beznzvuznsjb.png

[webwalker]

No já bych se při testování Star Swarm držel tohoto vlákna, kde už to nastavil maltra.

Testoval bych tedy scénář RTS v nastavení Extreme a Timed run (6min).



Udělal bych 3 měření a jako výsledek bych použil ten střední. Byl by to problém?

[Ache]

Jo to nastavení RTS sem přehlídl, v tématu swarmu se ze začátku testovalo tím prvním módem.
Ten RTS mód je fakt super... určitě se nemusíte bát že vám při něm shoří grafika - takže políčko s GPU může při DX11 zůstat nevyplněné
http://abload.de/img/starswarm_d3d_2014_03cpu37.png

Výsledek RTS módu:
http://abload.de/img/beznzvueluhy.png

EDIT:
Ale k otestování aplikace FLAC je lepší ten první průběh - zda to počítá dobře a né blbosti, neboť tam se střídá naprostá plynulost s naprostou neplynulostí (přičemž podle avg. fps převládá plynulost) a tady je pak otázka proč FLAC vygeneroval 24fps = nehratelnost.

[RAD-x]

Po přečtení něco o Star Swarmu ho ani stahovat nebudu, i autoři říkají že výsledky jsou nestálé, k tomu přičtu u mě divně vycházejícíc výsledky FLAC a máme tady loteriji. Hádám, že nějaký jiný benchmark pro nás použitelný zatím neexistuje?

[webwalker]

@RAD-x: Naopak, ty výsledky, které lezou z FLAC vypadají zatím velmi konzistentně.
Pokud budou výstupy ze Star Swarm Demo také konzistentní, jako že u scénáře RTS se zdají být, nebude s měřením žádný problém. To se ale nedozvíme, pokud to měřit nebudeme

[webwalker]

Tak jsem ještě ve FLACalculatoru udělal nějaké drobné změny:
Protože tady bylo nezdravě moc dotazů na to, co to vůbec jsou "hratelné fps", tak jsem je raději přejmenoval na "porovnatelné fps" (Comparable frame rate). Spustu lidí to pletlo a tento nový název tomu snad udělá přítrž.

Definicí Comparable frame rate je tedy vypočtená a pouze teoretická hodnota, která ukazuje jakou snímkovou frekvencí by gpu jelo v daném úseku měření, pokud bychom z naměřených dat odstranili (odfiltrovali) variabilitu fps a stuttering. Neukazuje tedy žádnou reálnou snímkovou frekvenci, pouze slouží k porovnávání výkonu mezi jednotlivými gpu.

Jednoduchý příklad, k čemu je Comparable fps dobré.
Máme dvě gpu a chceme změřit jejich výkon v nějakém úseku hry. Naměříme u nich následující fps ve čtyřech bodech měření:

GPU1: 20fps, 120fps, 40fps a 140fps - průměrné fps tedy 80fps
GPU2: 60fps, 100fps, 70fps a 90fps - průměrné fps také 80fps

Obě karty mají stejné průměrné fps, takže v běžných recenzích by to byla plichta. Ale sami vidíte, že kdybyste si mohli nějaké gpu vybrat, sáhnete raději po GPU2, protože renderuje snímky stabilnější snímkovou frekvencí (nemá takové výkyvy fps). Jak to ale matematicky vyjádřit?

FLAC tohle dělá podle výpočtu odchylek od průměru a jejich následného zprůměrování.
GPU1:
80 - 20 = 60
80 - 120 = 40 (pro výpočet se berou pouze absolutní hodnoty)
80 - 40 = 40
80 - 140 = 60
Průměrná odchylka GPU1 tedy je (60+40+40+60)/4 = 50fps

GPU2:
80 -60 = 20
80 -100 = 20
80 - 70 = 10
80 - 90 = 10
Průměrná odchylka GPU2 tedy je (20+20+10+10)/4 = 15fps

No a máme tady vítěze. I přes stejné průměrné fps můžeme říci, že GPU2 je lepší volbou, protože má menší průměrnou odchylku (směrodatná odchylka).

Pokud tuhle odchylku odfiltrujeme z průměrného fps, pak dostaneme ono "comparable frame rate", dříve "playable frame rate".

GPU1: 80-50 = 30 fps
GPU2: 80-15 = 65 fps (jasný vítěz)

FLAC tohle počítá obdobně, jen mnohem složitěji a v několika fázích. Navíc pracuje místo s fps s latencemi každého renderovaného snímku a v milisekundách.

[RAD-x]

@RAD-x: Naopak, ty výsledky, které lezou z FLAC vypadají zatím velmi konzistentně.
Pokud budou výstupy ze Star Swarm Demo také konzistentní, jako že u scénáře RTS se zdají být, nebude s měřením žádný problém. To se ale nedozvíme, pokud to měřit nebudeme

Neber si to osobně ale 100% rozdíl v interpretaci logu u tebe a u mě nepúsobí moc konzistentním dojmem. Já teda ještě stáhnu ten benchmark ačkoliv instalovat steam jenom kvuli tomuhle... doufám, že to pak jde celý v pořádku odebrat.

EDIT: teď jsem třeba zjistil, že v BF4 podle FLAC neplatěj multi GPU zákony, prej SLI má v BF4 lepší latence než jedna karta...tak já nevim. Upnu ti ten log jestli z toho budeš nějak moudrej...

[webwalker]

@RAD-x: Pokud říkáš 100% rozdíl v interpretaci logu bude lepší, když ty logy pošleš, protože samozřejmě nevím, copak jsi naměřil ty.

To, že ve SLI/CF máš nižší latence než u single je snad běžné, pokud tedy SLI/CF v dané hře funguje správně. Ale opět nevím co jsi naměřil.

[RAD-x]

To, že ve SLI/CF máš nižší latence než u single je snad běžné

snad se bavíme o stejný věci?

[webwalker]

@RAD-x: Tak já doufám že ano, protože kdyby latence na multi gpu nebyly nižší, těžko by SLI/CF měly vyšší fps a docela by pak ztrácely smysl

[RAD-x]

Tak to potom srážka s realitou pro tebe bude katastrofická... každopádně to dost věcí vysvětluje.

[Ingamacek]

Rad-x neviem co riesis, webwalker ma pravu. AVG framelatency mas pocet cas/pocet fps. To ze byvaju v sli a cf vyssie max a tak isto aj min delaye pri framoch na rovnakych FPS ako single no budis ale je 100 krat jasnejsie ze ti da 2*760 vacsie fps ako 1*760 a aj avg ms bude mat sli lepsie a vo vysledku bez vsync to sli bude stale s gaming exp. na tom ovela lepsie ako ta 1* 760. Aj ked myslis mozno nieco dobre tak si sa zle vyjadril.

[RAD-x]

No, vidim že v tom máš taky jasno, víš o kolik % musí bejt FSP vyšší aby si srovnal latenci proti singl GPU? jedno maj všechny multi GPU stejný, ten nárust FPS neni NIKDY dostatečnej k vyrovnání ... to je ten rozdíl mezi přečtenou recenzí a vlastní zkušeností... to je ten dúvod proč profesionální hráči nepoužívají multi GPU. Pokud FLAC ukazuje správně, pak to múže MSI s afterburnerm a EVGA s precisonem zabalit, jelikož tam je dopad přesně opačnej než ve FLAC. webwallkerovi jsem poslal logy, SLI / single, snad z toho bude nějak moudrej.

[webwalker]

@RAD-x: Se vší úctou, ale jsi vedle jak ta jedle.
Pokud ti SLI/CF generují vyšší fps v daném úseku hry než u single gpu znamená to, že v daném čase bylo vyrenderováno více snímku. V tomto čase tedy musely být tyto snímky renderovány průměrně kratší dobu (nižší latencí) než u single gpu, jinak by se do daného času měření nevešly. Pokud se tedy shodneme, že perpetuum mobile neexistuje.
U SLI/CF jde o jiný problém, který způsobuje AFR - micro stuttering. Tedy pravidelné a po sobě jdoucí renderování snímků střídavě v nízké a vysoké latenci.

[RAD-x]

@RAD-x: Se vší úctou, ale jsi vedle jak ta jedle.
Pokud ti SLI/CF generují vyšší fps v daném úseku hry než u single gpu znamená to, že v daném čase bylo vyrenderováno více snímku. V tomto čase tedy musely být tyto snímky renderovány průměrně kratší dobu (nižší latencí) než u single gpu, jinak by se do daného času měření nevešly. Pokud se tedy shodneme, že perpetuum mobile neexistuje.
U SLI/CF jde o jiný problém, který způsobuje AFR - micro stuttering. Tedy pravidelné a po sobě jdoucí renderování snímků střídavě v nízké a vysoké latenci.

To mluvíš o teoreticky 100% škálování??? znovu ti opakuju, takhle to hodnotí pouze tvuj FLAC, ostatní softy ukazují dlouholetý pravidlo, o kterym nevim že by se kdy změnilo, mlutigpu = vyšší latence. Pokud si to neprovozoval v praxi, je zbytečný polemizovat... určitě to ke mně nemáš daleko, moje pozvání na odbornej dohled pořád platí, aspoň sám na vlastní oči uvidíš že praxe se od teorie právě v tomhle případě brutálně liší. Múžem o tom podiskutovat před problémem o kterém píšu ale připadám si tady trochu jak Alenka v říši divú, SLI/CF od začátku svý existence produkovali vždy horší plynulost, pouze v případech kdy FPS dosahovali počtu stovek se vizuální vjem latencí ztrácel, jinak krom měření se to dalo poznat i pouhym okem, což samozřejmě lze i dnes, zastav se tu, rád ti to předvedu.

[Ingamacek]

Rad-x ty nechapes jednoduchu matematiku, to je vsetko. Cas/frames=ms/1frame. Vzdy plati jedno jedine, Frames Per Second= XYZ framov za 1S= 1s:XYZ frames= avg ms/1frame.

40 fps multigpu bude vo vacsine pripadov stale lepsie riesenie ako 1 karta s 30fps Dufam ze som nespravil nikde preklep

[havli]

40 fps multigpu bude vo vacsine pripadov stale lepsie riesenie ako 1 karta s 30fps.

Ja bych to poupravil - 40 fps na 2-way AFR nebude horsi nez 20fps na single karte.