Analýza latencí gpu - FLACalculator

[PET5]

Přiznám se, že jsem velmi překvapený nad přínosem toho Mantle u R9 290 v kombinaci s i7 na 4 GHz. Dosud se obecně tradovalo, že největší přínos to bude mít pro sestavy s výkonnými kartami a slabšími procesory. Ale to není tento případ. Co se změnilo? V jednom z těch screenshotů je uvedeno "Mantle v2", takže nějaká novější varianta?
Jinak chválím za vytvoření zajímavého benchmarku

[Alfajk]

nesleduju detaily okolo,nemam na to cas,ale zajima me jedna vec - mantle bude amd only,nebo i pro nvidii? a prinos bude pro nvidii stejnej,jako pro amd,nebo to bude neco jako roubovani physx na ati?

a mantle je misto directX,zejo?

[webwalker]

@PET5: No vidím ve tvém popisku R9 290, tak co se také přidat a něco otestovat?

@Alfajk: Jestli bude Mantle na nVidia záleží právě na nVidia

Jinak, zatím podle testů Katali je přínos Mantle neoddiskutovatelný. Abychom však mohli porovnávat také s nějakými Geforckami, bylo dobré vytvořit nějakou jednotnou metodiku měření pro všechny.

On to tady sice Katali psal, kde testuje, kudy jde a kam až dojde, ale lepší by bylo, kdyby tady někdo nahrál (nejlépe Katali) video na youtube, kde by všichni jasně viděli kde začít a kde skončit. Šlo by to buďto Frapsem nebo u nVidie pomocí ShadowPlay, ale jsou i další nástroje pro záznam videa ze hry. Troufnul by si tady někdo???

Do aplikace FLACalculator bychom následně uváděli toto:

Gpu name = jméno gpu a přetaktování (Radeon R9 290 @1150/5000)
Note = Název testu a nastavení, cpu a přetaktování (Seige of Shanghai 1080p Extreme noAA, i7930@4GHz)



Nebo nějaké jiné návrhy?

[PET5]

Já bych se klidně zapojil do testování, ale bohužel nevlastním BF4. Neexistuje nějaké volné demo, které by se dalo k tomuto účelu použít?

[Katali]

Tak jsem to nahrál, ale má to 4gb

[webwalker]

@Katali: 4GB? To je celovečerní film
Nejdou dát dolu detaily? Čím jsi to dělal, Frapsem?

[Katali]

Jj je to frapsem Ted jsem to zmenšil nějakým programem na 300mb tak to už jde. Teď to nahravám na youtubko
Tak http://youtu.be/qwNLABeBevg tu je.

[webwalker]

Jo tak to je parádní
I když na tom nesejde, ten parchant, co jsi ho vykuchal, tam je vždy?
To je ten Siege of Shanghai?

Dáme dohromady pravidla a můžeme začít testovat, bez ohledu na značku gpu

[RAD-x]

@Katali: No, opět pěkný výsledek
Je tady ale krásně vidět, jak jsou ty grafy vizuálně zrádný. U Mantle díky těm 3 "spikům" je osa X v rozsahu do 80ms a u DX zase do 30ms. Samozřejmě, že to pak u DX vypadá na daleko větší propady fps než u Mantle. Ale s tím se ještě v tom prográmku vypořádám.

@RAD-x: S největší pravděpodobností ti to v celém úseku na 200fps nejede a jsou tam ztráty za propady fps a stuttering. Nahoď sem graf, nebo naměřená data a uvidíme.

To ne že nejede v úseku, nikdy jsem neviděl ani 198FPS natož takovýhle odchylky, u mě to teda z těch logú z BF4 valí totální nesmysly.

[Katali]

Samo, že není v rámci videa jsem to tak nechal. Při testování i když někoho vidím tak po něm nejdu. Občas je to naprd pač vás při cestě třeba zabijou, nebo ten mrakodrap ještě není zbouranej, nebo nejste na správný straně a autobalanc vás furt přehazuje. No zkratka chce to čas Tohle je Siege of Shanghai 64 hráčů na Ultra bez AA dx11.
Na mantlu mi to nechce vůbec nahrávat a ani nefunguje afterburner osd ve hře.

[webwalker]

@RAD-x: To je imho přesně ten případ, kdy není dobré spoléhat se pouze na grafy. Díky těm prvním "spikům" jde hodnota osy Y až na 400ms, takže zbytek křivky vypadá jako přímka (i když není). Není tam pak vidět variabilita ani stuttering, který tam samozřejmě bude. Stejně tak se nemůžeš spolehnout ani na ukazatel fps, protože ten zase průměruje v čase.
Abych ti to ukázal, pošli mi ten log soubor s naměřenými latencemi.

@Katali: Na Mantle ti nepůjde spousta věcí, páč ty vycházejí z DX.

[webwalker]

@RAD-x: Tak takto to vypadá, když zmenším osu Y na 40ms:

RadX.jpg

Teďka to vypadá mnohem hůř, ale kdybych prodloužil osu X, zase by to vypadalo lépe. Grafům se prostě nedá věřit. Jinak průměrné fps je nějakých 194, ale úplně na konci měření je velké množství framů s latencí 33ms. Kdyby tam tyhle vysoké hodnoty nebyly, bylo by průměrné fps 199,6 a hratelné 148 fps.

[webwalker]

Takže ať to nezdržujeme. Tady je metodika pro testování v BF4 MP:

Testovací místo: Battlefield 4, multiplayer, Siege of Shanghai

Projde se následující částí mapy


Do úvodní obrazovky FLA Calculator se zapíše následující:

Gpu name - jméno gpu, přetaktování a API (Radeon R9 290 @1150/5000 Mantle/DX11)
Note - název mise a typ, nastavení hry, cpu a přetaktování (Siege of Shanghai MP64, 1080p Extreme noAA, i7930@4GHz)

Nechat logy s frametimes projet přes FLACalulator a pochlubit se zde buďto jenom textovou formou, nebo grafy z aplikace FLACalculator.

Připomínám, že logy se tvoří pomocí konzole v BF4:
PerfOverlay.FrameFileLogEnable 1 - zapnout zapisování do logů
PerfOverlay.FrameFileLogEnable 0 - vypnout zapisování do logů
Výsledný log s koncovkou .csv BF4 umísťuje do adresáře Dokumenty/Battlefield 4.

Testovat můžou všichni na Mantle nebo s DX, to je fuk. Stejně tak je fuk, jaký gpu máte, Radeon nebo GeForce, highend nebo lowend. Výsledky pak ukáží, jakým přínosem Mantle je a samozřejmě, jestli FLA Calculator funguje tak jak má.


PS: Pokud by někdo vymyslel nebo měl námět na podobnou metodiku, ale pro BF4 single player, dejte vědět.

[webwalker]

Heh, tak nikdo se nepřipojí? Ache? RAD-x? Všicni ostatní?

[Raisedeath]

Tak jsem to proběhl na nVidii. Mrakodrap byl zbořen.

[webwalker]

@Raisedeath: Díky chlape, to nevypadá špatně.
Jinak nějaké problémy při testování nebo s aplikací?

PS: Ještě jsem zapomněl na hodnocení. Výkon a stuttering je tam OK, poněkud horší je to variabilitou fps, ale zas nic tak hrozného.

[RAD-x]

Heh, tak nikdo se nepřipojí? Ache? RAD-x? Všicni ostatní?

Pokud nějak pořešíš ty výsledky, aby se nelišilo to co to ukáže mě a co pak tobě, tak nemám problém se připojit.

[webwalker]

@RAD-x: Nevím, co to ukazuje tobě, protože logy jsou jednoznačné a nejde se lišit. Pokud nevěříš na variabilitu snímkové frekvence a stuttering, používej jako výsledek průměrnou latenci - ta musí být stejná u nás obou. Pokud ne, troufnu si tvrdit, že ti to ukazuje špatně. Pošli logy a uvidíme.

[webwalker]

Takže jsem ještě udělal pár drobných úprav v aplikaci. U grafu se křivkou jsem přidal kontextové menu s těmito položkami:

1. Scale view - můžete velmi podrobně procházet hodnotami grafu
2. Axis Y range to - můžete měnit maximální hodnotu osy Y
3. Axis X as timeline - můžete nastavit osu X jako osu časovou namísto osy snímkové

curveChart1.jpg

Kontextové menu je přístupné kliknutím pravým tlačítkem myši do oblasti grafu.
Správné nastavení osy X a Y je důležité při normalizaci grafu pro účely vizuální komparace dvou a více grafů.
Postupně se mi scházejí naměřené výsledky (ale není jich mnoho). Až budu mít vše po kupě, hodím sem normalizované grafy, které budou i vizuálně porovnatelné.

PS: Těch výsledků opravdu není mnoho, ale nějakou vypovídací hodnotu mají. Bylo by však dobré, kdyby se ještě někdo další k měření BF4 připojil.

[webwalker]

Tak jsem vytvořil nějaké normalizované grafy z výsledků, které mi přišli.

Tady jsou naměřené výsledky od Raisedeath, který jako jediný prošel testovací úsek s kartou nVidia GTX780, za což mu tímto děkuji:

bf4_sos_gtx780_750.jpg

Grafy jsou normalizovány.

Grafy s Mantle a R9 290 jsem postnul do vlákna o Mantle, ať se to tady nehádá.

Ještě sem časem přibudou grafy s HD7850, která si s Mantle zatím moc nerozumí.

PS: Chtělo by to ještě další měření, nikdo to už nezkusí?