Analýza latencí gpu - FrapsCut

[webwalker]

@del42sa: No on viditelný micro-stuttering už z povahy věci samotné změřit, resp. matematicky vyjádřit, imho ani nejde
Každý to jeho vnímání má od přírody "rozdaný" trochu jinak. Pokud si dobře vzpomínám, tak průměrný člověk začíná vnímat "trhliny" v plynulém pohybu obrazu někde kolem 20 ms, tedy 50Hz. Jenže to je právě ten "průměrný" člověk. Někdo to začíná vnímat dříve, už nad 60Hz a někdo daleko později třeba až u 40ms (25Hz)

Takže co s tím? No s tím asi těžko něco provedeme. Můžeme se při porovnávání gpu spokojit s "plochým" porovnáváním průměrných fps a nebo se pokusit výstup frametimes z frapsu nějak přesněji analyzovat.
Výsledkem analýzy třeba MS bude vždy nějaké číslo, které bude říkat "pozor na téhle kartě a hře by se vám mohl projevit MS", ale to neznamená, že se tam právě tomuhle jedinci onen MS nakonec projeví (ale druhému třeba jo). Však vidíš ty diskuse, kde někdo MS na multi-gpu řešení nevnímá a někdo další je z toho zoufalej (a při tom ani jeden z nich nemusí kecat).

V každém případě ale analýzou křivky můžeme říct "tohle gpu podává celkově vyrovnanější výstup snímků než to druhé gpu. Váš herní zážitek s tímhle gpu bude asi v téhle hře lepší". Imho o nic jiného ani nejde.

[del42sa]

No přesně to jsem tím chtěl říct. Dokážeme teoreticky říct, že karta A ve hře X (abych byl přesnější tak v konkrétním úseku hry) má větší předpoklady k projevení micro-stutteringu než karta B v téže hře. Bohužel výsledek z jedné hry se zároveň bude velmi lišit od výsledku v např. jiné hře Y. Navíc vůbec není zohledněn lidský faktor,tedy to jak kdo subjektivně vnímá plynulost obrazu. Proto jsi to velmi trefně napsal už na začátku, že tímto způsobem měření GPU otevřeli na Techreportu pověstnou "Pandořinu skříňku".Nakonec sami iniciátoři z Tech Reports uznávají, že objektivně nejsou schopni změřit například to, jestli Frame Rate Metering u GTX690 má reálný přínos nebo ne

PS: ale jinak klobouk dolů za ten program cos vytvořil

A further complication: we can't yet measure the impact of frame metering—or, really of any multi-GPU solution—with any precision. The tool we use to capture our performance data, Fraps, writes a timestamp for each frame at a relatively early point in the pipeline, when the game hands off a frame to the Direct3D software layer (T_ready in the diagram above). A huge portion of the work, both in software and on the GPU, happens after that point.

http://techreport.com/review/22890/nvid ... ics-card/6

Ono vůbec nejlegračnější na celém tom měření SLI/CrossFire karet na TechReportu je fakt, že jedna HD7970 trpí víc na neplynulost než CrossFire dvou stejných karet

[Ache]

Tady máte ten průběh, je to jen frametimes - fps jsem neměřil. Je to ten můj velký testovací průběh (cca 5 minut hraní, přes 20000 hodnot)
http://uloz.to/xkr2umG/saintsrowthethir ... etimes-csv

A ta hra je toto: http://store.steampowered.com/agecheck/app/55230/

[webwalker]

@Ache: Díky, koukám, že jsi změnil avatara, vypadáš teď napůl jako yuri.cs

U toho tvého průběhu z SR3 je trochu problém s vizuální stránkou grafu. Těch hodnot na ose X je tam hodně na tak malý graf. Všechno to potom vypadá takové "zdrclé" a hodně chlupaté. Když si uděláš "výřezy" třeba po 3000 snímků, už to vypadá lépe. V tomhle případě je třeba věřit číslům spíše, než-li grafu.

[flanker]

skvělá práce Webwalker, já ti snad pošlu nějaký prachy Paypalem . Budeš ten soft se snažit nějak distribuovat i do světa?

[webwalker]

@flanker: Díky chlape, peněz netřeba je to jen zábava
Do světa? Hm nevím, zatím je to pořád ve fázi testování a myslíš, že by tam o to vůbec stáli?
Já o nikom nevím, takže to asi zůstane v českých/slovenských luzích a hájích. Máš-li jiný názor (nebo nápad), dej vědět

PS: Mám takovou malou ideu, jak ještě přesněji ohodnotit plynulost hry z frametimes, ale budu určitě potřebovat vaši pomoc. Až si to v hlavě nějak sesumíruji, hodím to sem do placu.

[flanker]

Já myslím, že alespoň mezi mnoha uživateli diskuzních fór by se to ucyhtilo, ať už Xtremesystems, či techpowerup, Anandtech a nebo Overclock.net.

[del42sa]

Tak už to máme zhruba v kostce narýsováno. Webwalker nabídne svůj program do světa jako shareware a Flanker mu bude dělat PR na příslušných fórech

[palanjak]

Ahoj, jen takový návrh k míře objektivity a posuzení výsledků.
Jsem teda úplná lama
Co přidat do programu jednoduchý videa se serií snímků, které by odpovídali určitým XX FPS a míře Shuteringu YYY z naměřených hodnot. Pak tohle video dát, jako výsledek.
Potom, když bych si chtěl vybrat kartu, a někdo už testoval, tak bych jesně viděl jestli ten shutering uvidím nebo ne.


Jestli je to úplně mimo mísu, tak se omlouvám.

[durod]

dat jako freeware s donate pres paypal

[Ache]

Já bych se po čase vypuštění do světa rozhodně nebál. Vypadá to dost profi.

Ale pokud by to měli používat i v testech, možná by nebylo na škodu, aby ta aplikace měla nějakou volbu rozlišení - aby ty grafy pak měly vždy stejný rozměr. (a to bych tam klidně dal jako placenou feature pro profi použití )

[AndyF1]

Sikovny program.Pacilo by sa mi keby to este malo
- moznost nastavit pre grafy napevno Min-MAx rozsahy X a Y
- moznost otvorit 2 priebehy naraz v 1 grafe

[webwalker]

@flanker, durod, Ache:
Rozšíření do světa se nijak nebráním. Až bude hotovo a vy mi pomůžete třeba s překladem, pak pokecáme

@palanjak: Chlape nepodceňuj se, žádná lama asi nebudeš, když se zajímáš o takovéto téma. Jinak o videosekvencích jsem také přemýšlel. Pak jsem to zavrhnul a dal přednost jednoduchosti.

@AndyF1: Nastavit pevné rozsahy by asi nebyl problém, ještě na to kouknu. Se zobrazováním dvou průběhů zatím nepočítám. Možná, někdy, snad, udělat prográmek, do kterého by se naimportovaly průběhy z X různých gpu a on by nějak vypočítal a zobrazil výsledky všech gpu souhrnně. Takový prográmek má Havli na http://pctforum.tyden.cz/viewtopic.php? ... 9#p8449079. Doporučuji nakouknout

PS: Až bude chvilka, tak ještě dopopíšu funkci "Výsledná analýza" a pak hodím do placu, takový nápad, jak posuzovat lepší "hratelnost"

[palanjak]

pro webwalker: díky

já to myslel prostě tak, aby byla vidět nějaká zpětná vazba a ne jen čísla. Prostě doplněk, aby si "normální" člověk ty čísla dokázal představit. Takovej obrácenej 3D Mark z jednoduchých 2D obrázků
Asi to je ale dost složitý udělat no.

Ale jinak veliká pochvala. Máš to dost vymakaný

[webwalker]

Analýza - výsledná analýza


Výsledná analýza sumarizuje a ohodnocuje křivku naměřeného průběhu latencí.
Ideálním (ale nedostižným) stavem by bylo, kdyby křivka naměřených latencí tvořila krásnou rovnou přímku rovnoběžnou s osou X a samozřejmě by neměla být od této osy příliš vzdálená. Realita je však jiná. Většinou se křivka kroutí jak had v různých vzdálenostech od osy X a navíc ještě díky přítomnosti stutteringu vypadá "chlupatě".
Je to vlastně takový chlupatý had, kroutící se kolem svého těžiště (přímky průměrné latence) v nějaké vzdálenosti od osy X. Čím víc je tento "had" vzdálen od osy X, vzdáleněji se kroutí od svého těžiště a je chlupatější, tím hůře. A samozřejmě naopak. Abychom chování křivky mohli nějak ohodnotit musíme tedy znát tři věci:

1. Vzdálenost těžiště křivky od osy X (průměrná latence) - vzdálenost "hada" od osy X
2. Směrodatnou odchylku křivky od svého těžiště (od průměrné latence) - jak moc je "had rozevlátý" kolem svého těžiště
3. Směrodatnou odchylku stutteringu od křivky (klouzavého průměru) - jak je had chlupatý

Výsledným číslem (skóre) analýzy aplikace FrapsCut je tedy vlastně součet těchto tří údajů:
Skóre = průměrná latence + odchylka křivky + odchylka stutteringu

Všechny tři údaje jsou v ms, takže není žádné překvapení, že i výsledné skóre je uváděno v ms (dá se tedy přepočítat na fps pomocí vzorce 1000 / skóre).

Jestli takovýto výsledek analýzy bude v praxi fungovat či ne, je třeba otestovat (je to na vás).
Mě se díky Tomášovi Šulcovi, který je autorem článku Podrobný test grafických karet aneb FPS není všechno dostaly do ruky jeho naměřené frametimes z článku. Prohnal jsem je touto analýzou s následujícím výsledkem:


Zelená barva značí lepší dosažený výsledek

Pokud bych měl tyhle testy shrnout pomocí analýzy z FrapsCut znělo by to asi následovně.

1. Vidíte, že 10 z 11 testů vyhrála na průměrnou latenci (nebo avg fps) HD7870
2. Díky lepšímu průběhu křivky a nižšímu stutteringu se však i tak GTG660 "prodrala" u čtyřech, jinak ztracených, her do čela
3. Celkovým vítězem by pak byla o pověstný fous HD7870 (především díky vyššímu hrubému výkonu)

PS: Doufám, že se na mě Tomáš Šulc nebude zlobit, když jsem veřejně použil jeho výsledky, ale myslím, že ne, protože jsou naše závěry z testování víceméně stejné

[del42sa]

Nejzajímavější na celém tomto zhodnocení průměrných latencí je fakt, že ačkoliv to podle té tabulky vypadá , že je HD7870 lepší GPU s nižšími latencemi než GTX 660, tak ve skutečnosti je tomu přesně naopak a HD7870 má ve většině testů chlupatější křivky než Nvidia. Ať žije matematika

PS: tohle Ache nerozchodí...

[webwalker]

@del42sa: To je právě to, nikdy nelze grafy posuzovat pouze vizuálně, zvláště mají-li jiný rozsah osy X a Y
Navíc se nesmí zapomínat na jedno, ten graf má na obyčejném FHD monitoru tak kolem 800-1000px na ose X. No a rveš tam klidně i desítky tisíc bodů křivky - jak se tam vůbec vejdou, když se tam vlastně prakticky vtěsnat nedají?

Takže pozor na grafy!

V tomto konkrétním případě testů má prostě HD7870 vyšší hrubý výkon než GTX660, která to někdy dožene (a někdy zase ne) lepším průběhem. Třeba nVidia obětovala hrubý výkon ve prospěch kvality (něco jako framerate metering)? Těžko říct.

[del42sa]

Já tommu rozumím, ale není účelem celého tohoto problému a vzniklého hype kolem "správného měření" výkonu a z toho vzniknuvších programů pro analýzu latencí a průběhů poukázat na fakt, že ač má určitá karta X vyšší celkový výkon, hraní her díky stutteringu je na ní horší /méně plynulé než na slabší kartě Y s menší mírou stutteru ?

Neměla by tedy tabulka ukazovat něco ve smyslu: Ano HD7870 má sice vyšší hrubý výkon a více teoretických fps, ale GTX660 je hraní lepší, protože je hra plynulejší, v kostce řečeno ? Jenže z tabulky to vypadá obráceně. Average latency je u většiny testů lepší na HD7870, z čehož by někdo mohl vyvozovat, že je HD7870 na hraní lepší volbou, nebo ?

Proto jsem toho názoru, že konečný výstup z tvého programu by měl "vydestilovat" právě tu plynulejší hratelnost u konkrétní karty zřejmě poměrem FPS vs. Latence vs. míra stutteringu.

Frame Rate Metering je imho jen na duálních kartách Nvidia i když kdo ví....

[webwalker]

@del42sa: No ono záleží na tom, o kolik má karta X nižší průměrnou latenci než karta Y
Pokud je tam markantní rozdíl, vyrovnanou křivkou už to dohnat prostě nemůžeš.
Těžko se ti bude hrát na jedné gpu lépe s vyrovnanou křivkou kolem 15fps, než na druhé gpu se stutteringem a nevyrovnanou křivkou kolem 50fps.

[del42sa]

No to je celkem extrémní případ, co takhle 70 FPS s vysokou mírou stutteringu a nevyrovnanou křivkou versus 50 FPS s minimem stuteringu a vyrovnanějšími průběhy ? To pak na té kartě se 70FPS to pocitově půjde jako na 25-30 FPS. O tom ten problém přeci je , nebo ?