Analýza latencí gpu - FrapsCut

[webwalker]

Na Techreportu otevřel Scott Wasson "pandořinu skříňku" na téma zda jsou hodnoty průměrné snímkové frekvence (fps) opravdu tím nejlepším způsobem testování grafických karet a začal gpu testovat poněkud jiným způsobem - přes latence (frametimes z Fraps logu). Všichni se jistě shodneme, že průměrné fps není vším. Jenže, jak ty gpu vlastně měřit a porovnávat? Aplikace Fraps Bench Viewer toho moc neumí a tvořit analýzy latencí gpu v Excelu je zase příliš složité a časově dost náročné.

Rozhodl jsem se tedy vzít v úvahu všechny metodiky a analýzy Scotta Wassona z Techreportu, přidat něco z vlastní hlavy a v době vánočních svátků (byla celkem nuda) vytvořit jednoduchou a uživatelsky přívětivou aplikaci, která by toto vše obsáhla - tedy analýzu latencí gpu ze všech možných úhlů pohledu.

Aplikace se jmenuje FrapsCut a pracuje s log souborem frametimes generovaným aplikací Fraps.
Kromě pouhého zobrazování a analýzy dat, je v ní možné tato data i editovat, mazat a různě upravovat. FrapsCut je rozdělen do několika samostatných úloh a podúloh.

1. Průběh latencí - analýza křivky latencí (rozpětí, rozptyl, směrodatná odchylka, variační koeficient ...)


2a. Histogram normální


2.b Histogram zájmový - počet snímků v intervalech zájmu


3a. Čas gpu trávený nad hranicí - souhrn


3b. Čas gpu trávený nad hranicí - detail


4a. Percentily - průběh percentily 50-99th


4b. Percentily - promítnuté pozice percentily do grafu průběhu latencí


5. Průběh vygenerované snímkové frekvence


V současnosti je aplikace FrapsCut ve fázi veřejného testování. Pokud by tedy také někdo z vás měl zájem se k testování připojit, budu jen rád. Každý zúčastněný tester, který mi odepíše jeho názor, připomínku, námět nebo nalezne v aplikaci chybu, bude uveden v seznamu testerů v okénku "About FrapsCut".
Všechny tyto připomínky, náměty atd. by bylo nejlépe prezentovat veřejně zde v tomto vláknu. Samozřejmě lze také využít SZ.

Požadavky:
OS Windows s nainstalovaným .NET framework 4
Aplikace se neinstaluje, stačí jen spustit exe soubor.

Stahovat můžete zde >>

[Ache]

Vypadá to dobře, tohle rád otestuji.

[havli]

Moc pekny

Koukam, ze ted se podobny programy objevuji jako houby po desti. Skoda, ze jsem mel vloni tak malo casu, uz tu neco podobnyho mohlo byt pred rokem.

Mas to pekne propracovany, to muselo dat hodne prace... Ja uz mam taky skoro hotovo, tak muzeme potom porovnat, kdo vytvoril lepsi programek.


btw. koukam, ze prekreslovani okna v .NET je stejne pomaly jako v jave

[Frky]

Moc pěkně zpracovaný, jdu vyzkoušet

[webwalker]

@havli: Chlape, po pravdě jsem vůbec nevěděl, že něco takovýho tvoříš
Kdybych to býval věděl, tak bych se na to popravdě vysr..
Já znal pouze Fraps Bench Viewer, který je na prd.
Práci to moc nedalo počítám tak 14 dní a zbytek byla optimalizace kódu a ošetřování chyb. Hodně jsem rozmýšlel mezi C++ a C#, ale nakonec vyhrál C#. Pokud budou problémy s vykreslováním oken a odezvou, převedu to do NET 4.5 a funkce budu volat asynchronně. Vzhledem k tomu, že už jsem ze školy nějaký ten pátek, tak největší problém byl si znovu oživit statistické výpočty jako rozptyl, odchylky atd.

@Frky: Díky a dej vědět, jak si dopadl.

[Ache]

Tak překreslování i 5-ti minutového průběhu jede plynule. zátěžák ok

poznámka k těm 99th percentiles je sice zajmavá, ale je fakt, že ty nejhorší případy jsou ty nejdůležitější. 50-70th mají blíže spíš k AVG fps (jeho hodnotě přepočtené na ms), kdežto ty nejvyšší ukazují vliv rozkolísanosti fps...
takže je dobře že se zrobrazuje ještě i zvlášť hodnota avg latency a 99th percentile!
http://www.abload.de/img/percentilesj9slb.png
už z tohohle je vidět, že i přes vysoké fps to nebude úplně hladká plynulost jako po másle...

jinak asi bych udělal nějakou úpravu co se týče zarovnání u grafu průběh latencí - u menšího okna ty hodnoty 16,6 a 33,3ms skočí do grafu - zarovnal bych to mimo průběh grafu tj. tak jak to vypadá ve větším okně:
http://www.abload.de/img/malyu9shy.png
http://www.abload.de/img/velkyfrsk2.png

Každopádně to vypadá dost dobře!

[webwalker]

@Ache: Zatím, co jsem do teďka testoval u průběhu percentil, tak jsem zjistil následující:
Z toho grafu jsou důležité tři hodnoty
1. Absolutní hodnota 99th percentily (ms) - ovšem někdy, když jsem si jí "promítnul" do průběhu latencí, tak byla v dost netypické pozici. Chce to ještě více testovat - třeba i na výřezu.
2. Relativní diference 99th percentily od průměrné latence
3. Bod, kdy čára průběhu percentil protne čáru průměrné latence. Čím později jí protne, tím lépe.

Úpravy na popiscích se pokusím napravit (pokud to půjde). Díky za reakci, zítra postnu novou verzi (už tam budou vaše nicky v testerech )

[Ache]

k těm bodům:
1 - jo to je důležité (ale její promítání do grafu průběhu nechápu)
2 - to je ještě víc důležité
3 - podle mě naopak absolutně nedůležité. U her s vyrovnaným průběhem to naopak vychází tak, že někdy je 50th percentile přesně na úrovni avg.
Dobrým příkladem budiž můj starší průběh z Crysisu 2 který na microstuttering ani stuttering netrpí a jeho průběh je velice vyrovnaný a maxima a minima jsou dány pouze průběhem fps.

průběh: http://www.abload.de/img/crypruboldd3.png
precentily: http://www.abload.de/img/cryperyme5h.png

Ono asi nejvíce napoví ten samotný graf průběhu frametimes. 99th percentile rozdíl už z toho většinou tak nějak vyplyne sám.

[webwalker]

@Ache: Díky za reakci, zkusím vysvětlit co je to ta "promítnutá percentila".

Každá latence z fraps logu je specifikována svojí polohou a hodnotou, tedy příkladně

pozice - hodnota
1 - 24
2 - 22
3 - 25
4 - 23
5 - 22
6 - 24
7 - 24
8 - 23
9 - 23
10 - 23
11 - 23
12 - 28

V grafu "průběhu latencí" tedy jdeš postupně od pozice 1,2,3... (osa X) a vynášíš do grafu jejich hodnoty 24,22,25 ... (osa Y).

Definice percentily - percentila je hodnota z řady hodnot, seřazených podle velikosti, která se vyskytuje na pozici udané procentem. Pro výše uvedená data tedy platí, že si je musíš seřadit vzestupně podle hodnot:

pozice - hodnota
2 - 22
5 - 22
9 - 23
8 - 23
4 - 23
11 - 23
10 - 23
7 - 24
6 - 24
1 - 24
3 - 25
12 - 28

Teďka, když chceš určit třeba 99th percentilu, tak je to vlastně hodnota, která se nachází na 99% pozici, tohoto seřazeného souboru dat. Tedy 99 (%) * 12 (počet dat) / 100 = 11.88. Výsledek musíš zaokrouhlit na nejbližší celé nižší číslo, tedy 11. Výsledkem je, že 99th percentila se nachází na 11 pozici od shora, v takto seřezaném souboru dat - 25ms. Když jsem nyní určil tuto 99th percentilu, tedy těch 25ms, zároveň i vím, že její původní pozice na grafu (osa X) byla 3. Není tedy pak vůbec žádný problém jít do grafu "průběhu latencí" a červeným bodem zanést (promítnout) na pozici 3 hodnotu 25ms.

Stejně tak můžeš promítnou třeba 50th percentilu: 50 * 12 / 100 = 6 (což odpovídá) 23ms (s originální pozicí 11).

[Ache]

Tak to bych spíš tu 99th percentilu (případně nějakou jinou dle výběru), zobrazoval v tom grafu jako vodorovnou linku aby to aspoň dávalo informaci o tom kolik špiček je ještě nad ní nebo kde se pohybuje proti avg. atd. samotný bod někde v grafu mi nějak nic neříká.
http://www.abload.de/img/beznzvuaau5d.png

[webwalker]

@Ache: Hm, to zní rozumně, takže to tam zapracuju

[webwalker]

Takže nová verze programu FrapsCut podle vašich připomínek.

1. Přidána červená čára 99th percentily v grafu


2. Graf průběhu latencí trochu zúžen
3. "Vypalené" nicky testerů v About okně (Ache, havli, Frky)
4. Přidáno malinko na rychlosti

Stahujte zde >>

Další připomínky a náměty uvítám. Chystám se napsat něco o měřených veličinách a jejich významu, tak pokud bude někoho něco zajímat přednostně, ať dá vědět.

PS: Trochu jsem testoval průběhy a musím říct, že se stále více a více přikláním k názoru, že vyhodnocovat gpu podle 99th percentily tak, jak to dělá Techreport je zcestné a zavádějící

[Ache]

PS: Trochu jsem testoval průběhy a musím říct, že se stále více a více přikláním k názoru, že vyhodnocovat gpu podle 99th percentily tak, jak to dělá Techreport je zcestné a zavádějící

Jenže úplně stejně zavádějící je vyhodnocování GPU podle avg./min. fps. 99th percentile (nebo dejme tomu rozsah 95 až 99) je defakto ožezaná hodnota o náhodné špičky(100th). Nicméně zase nemůžem hodnotit výkon jen podle 99th percentile. Asi nejlepší je vidět přímo průběh frametimes a porovnat dva grafy mezi sebou - viz. FarCry3 na Extrahardware - tam bylo u grafů GTX660ti vs HD7970 vše jasné hned na první pohled i bez dalších výpočtů.

[ifkopifko]

Zdravím, vyzerá to fakt dobre. Len by som podoktol to, čo naznačil aj Ache. U tých percentilov je zbytočná informácia, ktorý konkrétny frame bol XXth percentil, ako bod v grafe to naozaj nedáva zmysel. Navyše sa takto vystavuješ rizku, že tie body budú blízko pri sebe v horizontálnom smere (ako na tom screenshote) a nebude na prvý pohľad jasné, ktorá popiska patrí ktorému bodu. Mohol by si to urobiť len čiarami ako si spravil ten 99th s popisom na pravej strane grafu. Aj tak sa ti môže stať, že zas budú príliš husto vo vertikálnom smere.

Ja by som to spravil buď tak, že by bol každý inou farbou a popisky by mali nad čiarou, každý percentil však horizontálne posunutý, aby sa text nikdy neprekrýval. To by ale zas bola spústa čiar a na prehľadnosti by to nepridalo.
Druhá (podľa mňa lepšia) možnosť čo ma napadá je, že čiarou bude zobrazneý len jeden percentil podľa výberu a v grafe bude zároveň zanesená aj krivka priebehu percentilov ako je v tvojom prvom poste "4a. Percentily - průběh percentily 50-99th".

Ale aj ak to necháš ako to je, je to dostatočne dobré. Good luck.

[Krteq]

Great job

[Riku]

Co je vlastně ten 99th percentile?? já to nějak nechápu, jsem asi guma

Třeba když změřím frametimes v interiérech skyrimu, tak latence lítají až pod 100ms, ale 99th perc. je na 22,5ms.

[webwalker]

@Ache: Ano, je to jak říkáš, 99th percentila sama o sobě nevypovídá prakticky o ničem, stejně jako min a max hodnota latence (s průměrnou hodnotou je to však jiné). Jenže právě Techreport jí dal do grafu společně s cenou GTX660 vs HD7950 jako hotovou věc a udělal z nás prostě blbce.
Samozřejmě, že když koukneš na grafy průběhu latencí dvou gpu a jedna křivka je vizuálně "chlupatější" než druhá, nemusíš nic počítat, ale co když jsou "chlupaté" obě a ty potřebuješ zjistit, která je víc? Tady už holt počítat budeš muset abys to vyjádřil nějakým číslem a 99th percentila to nebude.

@ifkopifko: Podle mého nemá cenu se jinou, než-li 99th percentilou vůbec zaobírat. Kdybych udělal horizontální čáry u všech percentil (tak jako u té 99th), čáry by byly také příliš u sebe (některé by dokonce splynuly) a do pravé části grafu by se popisky také nevešly. Ale jinak to není problém, pokud se tak dohodnete, zapracuji to tam. V každém případě budeš "zvěčněn" a About okně

@Krteq: Díky

@Riku: 99th percentila je vysvětlena o několik postů výše, tak jen krátce:

Máš naměřených následujících 12 hodnot latencí:
24-22-25-23-22-24-24-23-23-23-23-28
seřadíš je podle velikosti vzestupně tedy:
22-22-23-23-23-23-23-24-24-24-25-28
99% nejvyšší latence je tedy 99 * 12 (počet dat) / 100 = 11.88 (zaokrouhleno na nejnižší celé číslo 11)
99th percentila tedy leží na 11 pozici v tom vzestupně seřazeném souboru tedy 25 ms.
Pokud se ti tam tedy objevovaly latence kolem 100ms, pak svou hodnotou ležely až za 99th percentilou tak, jako v našem příkladě hodnota 28.

[Ache]

Samotná 99th percentila moc nevypovídá, ale když sme to řešily v tom threadu o latencích tak jsem tam psal že někdy 50fps nvidia není to samé jako 50fps AMD. A defakto pokud máš stejné avg. fps (a latenci, tak je 100% jisté, že když se nějak výrazně bude lišit 99th percentile, tak bude i rozdíl v plynulosti.

Ona žádná hodnota není sama o sobě 100% vypovídající o tom jak dobře nějaká hra poběží. Pouze avg. fps (případně min. fps) se tak nějak vžilo a používá se to jako nějaké obecné měřítko pro hodnocení výkonu grafik (je to easy na měření). To že se začíná uvažovat i o měření "reálné plynulosti" je jedině dobře. Podle mě Techreport to zas nějak blbě netestuje. Pokud v nějakém testu (nebo celkovém hodnocení) měly GTX660ti a HD7950 stejné avg. fps, ale dost odlišnou 99th percentile, tak je jasné, že tam je rozdíl v plynulosti. A Techreport právě dával proti sobě avg. fps vs. výsledky 99th percentile. Také díky tomu už AMD u některých her začalo vyšší lagy řešit, takže to ke škodě rozhodně nebylo.

[webwalker]

@Ache: Přesně tak. Na to, abys mohl použít 99th percentilu jako měřítko je nutné splnit jednu základní podmínku, kterou je stejný (nebo velmi, velmi podobný) počet vygenerovaných snímků v daném časovém intervalu.
Když tuto podmínku splníš, pak ti 99th percentila opravdu bude něco naznačovat, ale nikoliv exaktně definovat - tedy "chlupatost" křivky průběhu latencí.

Takže vždy prvním kritériem výkonu gpu bude počet vyrenderovaných snímků za jednotku času a teprve následně pak můžeme zkoumat jejich kvalitu ("chlupatost" křivky)
Ale opět, proč tuto kvalitu zkoumat nepřesnou a někdy náhodnou hodnotou 99th percentily, když tu máme přesné výpočty jako rozptyl, směrodatná odchylka či variační koeficient, které celkem dobře vypovídají o umístění rozptýlených hodnot kolem jejich aritmetického průměru?

Já žádný matematický vzorec na výpočet všeobjímající hodnoty na poměřování gpu neznám, ale jedno vím zcela jistě. Pokud by existoval musí v něm, jako nejdůležitější faktor, figurovat počet vygenerovaných snímků.

[ifkopifko]

Podotkol by som, že tie presné výpočty čo si spomenul, nie je možné použiť, ak sa náročnosť scény v čase mení (fps nie sú konštatné). Nič ti nepovedia.