Analýza latencí gpu - FrapsCut

[webwalker]

@ifkopifko: Ale jo, řeknou
Ale protože se tady bavíme o latencích, tak si ale dříve musíme upřesnit pojmy (latence, fps, framerate ..).
Každé gpu renderuje snímky a každý render snímku může gpu trvat různou dobu, kterou tady označujeme jako latence. Čím je scéna snímku náročnější, tím doba (latence) jeho renderování je vyšší. Stejně tak lze říct, že výkonnější gpu potřebuje na renderování jednoho stejného snímku kratší dobu (latenci), než-li gpu druhé a méně výkonné. Latence je tedy základní veličinou ukazatele výkonu gpu.
Fps (počet snímků (framerate) za sekundu) je pouze veličina odvozená právě z latencí a udává nám, kolik vygenerovaných snímků (součet jejich latencí) se nám vejde do 1000ms (1 sekundy).
Zkoumáme-li tedy průběh latencí gpu, zkoumáme tím také zároveň i jejich odvozenou veličinu fps.
Náročnost scény tedy ukazují velikosti latencí a když je zaneseme do grafu, můžeme velmi přesně určit jejich hodnotu variance (rozptylu kolem středové hodnoty).

[ifkopifko]

Nerozumieme si... to všetko ja chápem, neboj.

Skúsim ešte raz, inak. Všetko to, ako sa to testeri pokúšajú vyjadrovať je podľa mňa nedostatočné. Čo som mal na mysli je to, ako vyzerá nejaký priebeh/run benchmarku. Počas neho sa ale kamera otáča, hýbe, scéna sa mení, ... výsledok je taký, ako je aj na tých tvojich screenshotoch. Nejaký úsek hra beží na 16fps, neskôr na 25. To znamená, že ak spravíš nejaký rozptyl okolo avg fps, tak to vôbec nič nehovorí o plynulosti hry (v rámci porovnania nejakých grafických kariet) a už vôbec nie o microstutteringu. Rôzne karty majú rôzne parametre a rôzne architektúry. Iná môže napríklad prvú časť prejsť na 18 fps a druhú na 23 fps. Bude mať menší rozptyl, ale je hranie s ňou plynulejšie? Niekedy možno áno, inokedy nie.

Analýza, ktorá by niečo povedala je podľa mňa niečo na spôsob skúmania tej "chlpatosti". Tak narýchlo by to mohlo byť analyzovanie relatívnej zmeny latencií pri posebeidúcich snímkoch. To je ale dosť odlišný prístup od toho čo sa teraz používa. Teda ak sa mýlim, tak ma niekto opravte, nesledujem to nijako ostro. Pre GK by sa teda uvádzala priemerná latencia, a takáto "chlpatosť". Treba sa nad tým zamyslieť a prekopať to podľa mňa.

[webwalker]

Popravdě nám ani tak nejde zjistit jak je hra obecně hratelná nebo plynulá, ale o to, jak co nejspravedlněji porovnat dvě karty mezi sebou. Základem je vždy nějaký benchmark, kterým obě karty musí projít za stejných podmínek. Tedy pokud se kamera natáčí, či se tam něco hejbá, musí se tak dít stejně u měření jedné či druhé gpu (frame drop je pak u obou). A jak se s tím jedna či druhá karta popasovala nám určí vítěze. Dnes se to měří pomocí průměrné snímkové frekvence, ale začínáme zjišťovat, že pouze toto nestačí. Protože kromě klasického frame drop (tvůj příklad s natáčením kamery) tu ještě existují drobnější výkyvy latencí, které mohou, ale také nemusí způsobovat MS. V každém případě jsou však nežádoucí a průměrné hodnoty výsledků měření je v sobě nezahrnují.
Hodnoty rozptylu, odchylky a variačního koeficientu nám udávají, jak přesně (spíše jak nepřesně) nám průměrná hodnota latence reprezentuje naměřená data (a to včetně té drobné "chlupatosti"). Samozřejmě MS neodhalí, ale o to nám v tuhle chvíli ani nejde.

[ifkopifko]

Podľa mňa sa len potrebuješ nad tým viac zamyslieť a pochopíš čo hovorím. Ak ti totiž nejde o odhalenie MS, tak potom ti stačí avg fps a hotovo. Práve MS robí to, že avg fps nemôžeš priamo porovnať. Práve o MS tu predsa ide, alebo som teda úplne mimo a nechápem čo je poslaním takejto analýzy frametimes. Vyjadrite sa prosím aj niekto ďaľší... Ache?

Ostatne, sám si napísal:

Samozřejmě, že když koukneš na grafy průběhu latencí dvou gpu a jedna křivka je vizuálně "chlupatější" než druhá, nemusíš nic počítat, ale co když jsou "chlupaté" obě a ty potřebuješ zjistit, která je víc? Tady už holt počítat budeš muset abys to vyjádřil nějakým číslem a 99th percentila to nebude.

Ten môj príkald mal inú pointu. Karty sú rôzne a hoci bude pri zmene scény framedrop u oboch, nebude nutne proporcionálny. Príklad: Benchmark začína na nejakej scéne a niekde v polovici kamera zablúdi do nejakej husto tesselovanej časti. V prvej časti karta "A" vedie 25 vs 23 fps, ale v tej tesselovanejšej časti hoci majú obe prepad, tak karta "A" klesne na 16 fps, ale karta "N" na 18 fps.
Navyše, takýto run, alebo akýkoľvek iný, kde sa fps ustáľujú na rôznych hodnotách, nemôžeš vyhodnotiť pomocou tamtých štatistických veličín. (To nijako nesúvisí s tým príkladom, že karty sa s problémom popasujú rôzne. Skrátka ti v takom prípade výjde rozptyl veľký ako krava, ale hovorí to len o tom, že náročnosť sa počas benchmarku mení.)

[webwalker]

@ifkopifko: Chlape zamysli se

Dám ti příklad tří gpu:

GPU1 naměřené latence
18-22-18-22-18-22-18-22-18-22 (10 frames, average= 20ms)

GPU2 naměřené latence
19-21-19-21-19-21-19-21-19-21 (10 frames, average= 20ms)

GPU3 naměřené latence
20-20-20-20-20-20-20-20-20-20 (10 frames, average= 20ms)

Které z těchto tří bys bral jako nejlepší???

[ifkopifko]

Asi píšem mongolsky. Ja sa nad tým práveže zamýšľam. Ten tvoj príklad je ale o MS (a tam je to predsa jasné), a o ten hovoríš, že ti nejde. Ja som ale písal o inom, nie o MS. Príklad grafu:

Chlpatosť v ňom ignoruj. Rozptyl bude pomerne veľký, lebo začiatok a koniec benchmarku sú menej náročné ako stred a avg fps bude teda niekde medzi. Iná GK to môže dať stabilnejšie (začiatok a koniec trochu pomalšie a stred trochu rýchlejšie, avg fps rovnaký), ale bude to hovoriť len to, že niekde je silnejšia a inde slabšia. Nič, čo by bolo možné použiť na objektívne zoradenie kariet.

Preto hovorím, že rozptyl ti nepomôže. Celé toto zamýšľanie predsa vzniklo kvôli MS (nie je 30fps ako 30fps). Práve tú chlpatosť treba kvantifikovať, sám si to predsa na predošlej strane napísal.

[webwalker]

@ifkopifko: Věř, že rozptyl u tvého příkladu nebude vůbec obrovský jak píšeš, protože asi nevíš jak se počítá a zřejmě si ho pleteš s rozpětím. Ale to je celkem moje chyba, protože jsem původně chtěl nejdříve ukázat a vysvětlit jak se co v různých úlohách FrapsCutu počítá a pak teprve diskutovat. Bohužel jsem se k tomu ještě nedostal. Snad zítra.

PS: U příkladů, které jsem ti ukázal já se o MS nejedná, ale to je jiná kapitola. Snad se k vyhodnocování MS někdy dostaneme také.

[ifkopifko]

Prepáč webwalker, ale:
1. Ak som ten tvoj príklad dobre pochopil, že ide o posebeidúce snímky, tak to JE MS, čo je jediný rozdiel medzi tými troma scenármi.
2. Ubezpečujem ťa. že viem čo je to rozptyl a s ničím si to nepletiem. A v rom príklade bude veľký. Teda, relatívne. Išlo o modelovú situáciu, myslel som teda veľký oproti alternatíve, kedy by síce boli avg fps identické, ale začiatok a koniec s nižším fps, stred s vyšším. Myslel som, že je to dosť jasné. V rozptyle máš totiž neoddeliteľne zmiešaný MS (chlpatosť) a kolísanie fps vplyvom zmeny náročnosti renderovanej scény. Preto to nemôžeš použiť na objektívne porovnávanie kariet o nič viac, ako avg fps.

[webwalker]

Prepáč webwalker, ale:
1. Ak som ten tvoj príklad dobre pochopil, že ide o posebeidúce snímky, tak to JE MS, čo je jediný rozdiel medzi tými troma scenármi.

Problém je, že ty nazýváš MS všechny průběhy latencí, které se od sebe bod po bodu vzájemně liší hodnotou, ale tak to není. MS musí splňovat určitá pravidla. Aby tě to neiritovalo, tak si u těch mých příkladů seřaď hodnoty podle hodnot zleva doprava. Výsledek bude tentýž bez toho, že mi tu budeš tvrdit, že se jedná o MS

2. Ubezpečujem ťa. že viem čo je to rozptyl a s ničím si to nepletiem. A v rom príklade bude veľký. Teda, relatívne. Išlo o modelovú situáciu, myslel som teda veľký oproti alternatíve, kedy by síce boli avg fps identické, ale začiatok a koniec s nižším fps, stred s vyšším. Myslel som, že je to dosť jasné. V rozptyle máš totiž neoddeliteľne zmiešaný MS (chlpatosť) a kolísanie fps vplyvom zmeny náročnosti renderovanej scény. Preto to nemôžeš použiť na objektívne porovnávanie kariet o nič viac, ako avg fps.

Sice nevímm proč mi tu opět postuješ průběhy FPS, když se bavíme o latencích, ale to už je jedno. Rozptyl resp. její měřitelná hodnota - směrodatný odchylka se odvíjí od průměrné latence, tedy v tvém grafu max 17ms. Pokud bys jí měřil v celém průběhu tipuji, že by ses dostal někam kolem 12ms. Ale o to tu zase nejde.
Dám ti příklad a tentokrát z tvého grafu, abys konečně pochopil, co vůbec rozptyl, směrodatná odchylka a koeficient variance udává.

Tak a teď mi řekni, kterou kartu (modrou, červenou nebo žlutou) bys vyhodnotil jako nejlepší. Připomínám, že průměrnou latenci (a tím i průměrné fps) mají všechny karty stejnou.

[ifkopifko]

Problém je, že ty nazýváš MS všechny průběhy latencí, které se od sebe bod po bodu vzájemně liší hodnotou, ale tak to není. MS musí splňovat určitá pravidla. Aby tě to neiritovalo, tak si u těch mých příkladů seřaď hodnoty podle hodnot zleva doprava. Výsledek bude tentýž bez toho, že mi tu budeš tvrdit, že se jedná o MS

Presne ako hovoríš, výsledok tvojej analýzy bude rovnaký. Nevieš z toho či ide o MS (keď sa latencie striedajú), alebo zmenu náročnosti scény (kedy sa proste latencie zmenia a držia).
A áno, vždy keď sa latencie bod po bode líšia, jedná sa o MS. Ide len o to, či je sústavný (keď sa rôzne latencie striedajú), alebo nie (keď sa latencia síce skokovo zmení, ale ostane taká aj pre ďalšie snímky). Ale nech sa páči, napíš mi sem tie "určitá pravidla".

Sice nevímm proč mi tu opět postuješ průběhy FPS, když se bavíme o latencích, ale to už je jedno.

Lebo je to predsa jedno. Ako sám vieš, jedno je priamo odvodené z druhého.

Tak a teď mi řekni, kterou kartu (modrou, červenou nebo žlutou) bys vyhodnotil jako nejlepší. Připomínám, že průměrnou latenci (a tím i průměrné fps) mají všechny karty stejnou.

Z toho tvojho príkladu je jasné, že stále nechápeš pointu toho, čo píšem. Čiastočne si to ale nakúsol, tak snáď už teraz pochopíš. Ak ten tvoj graf má nejakú rozumnú dĺžku (veľký počet framov), tak sa nejedná o MS. (V prípade MS by bola odpoveď jasná, lepšia je tá "žltá".)
Keďže ale nejde o MS, ale napríklad o to, čo som ja písal vo svojom príklade, zmeny latencií spôsobené "normálna" scéna s prechodom do hustejšie tesselovanej časti (v tvojom príklade opakované prechody), tak objektívne nemôžeš určit víťaza na základe rozptylu. To by totiž znamenalo rozhodnúť, či je lepšia karta s vyšším aritmetickým výkonom, alebo geometrickým. Každá je lepšia na niečo iné, to je celé. Vnieslo by to ešte viac chaosu než avg fps, lebo v tvojom prípade by to bolo drvivé víťazstvo "žltej karty" nad "červenou". To ale nie je v žiadnom prípade objektívne.

Snáď už teraz chápeš, ak nie, tak sa vzdávam.

[del42sa]

Chudáku Ifkopifko, ty tak inteligentní si tu mezi námi "hlupáky" musíš připadat jako Zeman mezi slovenskými novináři

[ifkopifko]

del42sa> Myslím, že tu máš dostatok priestoru pre vecné argumenty.

[webwalker]

Presne ako hovoríš, výsledok tvojej analýzy bude rovnaký. Nevieš z toho či ide o MS (keď sa latencie striedajú), alebo zmenu náročnosti scény (kedy sa proste latencie zmenia a držia).
A áno, vždy keď sa latencie bod po bode líšia, jedná sa o MS. Ide len o to, či je sústavný (keď sa rôzne latencie striedajú), alebo nie (keď sa latencia síce skokovo zmení, ale ostane taká aj pre ďalšie snímky). Ale nech sa páči, napíš mi sem tie "určitá pravidla".

Ale, že ten výsledek bude totožný, o to tady přece jde nebo ne??? Umím matematickou hodnotou vyjádřit kvalitnější průběh grafu dvou gpu v případě, kdy mají totožnou hodnotu průměrné latence!!!
O tom, že rozptyl, odchylka či koeficient variance ti neodhalí MS jsem tu už psal několik postů dříve.
Chceš-li se něco dozvědět o MS a jeho pravidlech, přečti si diskusi dospělých třeba tady

Lebo je to predsa jedno. Ako sám vieš, jedno je priamo odvodené z druhého

No jedno to není, protože každá jednotlivá fps v sobě obsahuje další hodnoty desítek latencí snímků, takže tvůj graf by vypadal rozhodně jinak. Kdyby jich každá hodnota fps obsahovala v průměru 40, tak ty se tady snažíš analyzovat 40x méně dat!!!
Příklad průběhu latencí a z něj odvozená snímková frekvence:


Tyhle průběhy jsou ze skoro 5 minutového (cca 10 000 dat) průběhu jedné nic moc gpu v unique haven, kde máš prakticky vše obsažené.

Z toho tvojho príkladu je jasné, že stále nechápeš pointu toho, čo píšem. Čiastočne si to ale nakúsol, tak snáď už teraz pochopíš. Ak ten tvoj graf má nejakú rozumnú dĺžku (veľký počet framov), tak sa nejedná o MS. (V prípade MS by bola odpoveď jasná, lepšia je tá "žltá".)
Keďže ale nejde o MS, ale napríklad o to, čo som ja písal vo svojom príklade, zmeny latencií spôsobené "normálna" scéna s prechodom do hustejšie tesselovanej časti (v tvojom príklade opakované prechody), tak objektívne nemôžeš určit víťaza na základe rozptylu. To by totiž znamenalo rozhodnúť, či je lepšia karta s vyšším aritmetickým výkonom, alebo geometrickým. Každá je lepšia na niečo iné, to je celé. Vnieslo by to ešte viac chaosu než avg fps, lebo v tvojom prípade by to bolo drvivé víťazstvo "žltej karty" nad "červenou". To ale nie je v žiadnom prípade objektívne.

Snáď už teraz chápeš, ak nie, tak sa vzdávam.

Pokud chceš ještě rozdělovat benchmark na úseky, kde se více uplatňuje geometrie a kde ne. Nebo vyhodnocovat, kde jedna karta má lepší fillrate tak si myslím, že už jsi se nadobro pomátl. Spíš si ale myslím, že se tady začínáš vykrucovat a nebylo by od věci, pokud tě samozřejmě nenapadne něco chytřejšího, raději už nic nepsat.

Raději si tenhle prográmek stáhni, vyzkoušej a hlavně testuj, experimentuj, testuj a znova experimentuj

[ifkopifko]

Ja sa nevykrúcam, ty nečítaš.

Umím matematickou hodnotou vyjádřit kvalitnější průběh grafu dvou gpu v případě, kdy mají totožnou hodnotu průměrné latence!!!

Nesúhlasím, nie je univerzálne kvalitnejší keď je vyrovnanejší. Dôvod väčšieho rozptylu je podstatný.

Chceš-li se něco dozvědět o MS a jeho pravidlech, přečti si diskusi dospělých třeba tady

To sa zas vykrúcaš ty. To som čítal. A oni nie sú žiadni nadľudia mimochodom, tak si tie narážky odpusti.

No jedno to není, protože každá jednotlivá fps v sobě obsahuje další hodnoty desítek latencí snímků, takže tvůj graf by vypadal rozhodně jinak. Kdyby jich každá hodnota fps obsahovala v průměru 40, tak ty se tady snažíš analyzovat 40x méně dat!!!

Je to jedno, lebo tam nešlo o MS/chlpatosť, ale o zmenu náročnosti scény, čítaj čo píšem. (Inak, priebeh fps nemusí obsahovať menej informácií ako latencie. Nikde nie je napísané, že jednu hodnotu fps musíš vypočítať z framov celej sekundy. Kľudne môžeš použiť jediný frame. To je ako keby si nemohol stanoviť rýchlosť auta kým neprejde celý kilometer. Ale o to tu vôbec nešlo.)

Pokud chceš ještě rozdělovat benchmark na úseky, kde se více uplatňuje geometrie a kde ne. Nebo vyhodnocovat, kde jedna karta má lepší fillrate tak si myslím, že už jsi se nadobro pomátl.

Ja nechcem nič rozdelovať na úseky, ja chcem objektívne zoradiť grafické karty od najlepšej po najhoršiu.

Raději si tenhle prográmek stáhni, vyzkoušej a hlavně testuj, experimentuj, testuj a znova experimentuj

Dík, nepotrebujem ho. Bohužiaľ totiž nerobí nič, čo by som ja považoval za prínosné v tejto problematike.

[webwalker]

Tak, po kulturní vložce "diskuse s ifkopifko", bych chtěl pokračovat a postupně vysvětlit funkce aplikace FrapsCut a popsat výsledky, které vám každý graf nabízí.

Průběh latencí


Vlevo je tabulka DataGridu (něco jako Excel), ve které máte importovaná data z fraps log souboru. Hodnoty ve žlutém sloupci můžete ručně editovat (měnit).
Data z této tabulky jsou automaticky zanášena do grafu, který je umístěn v pravé části okna. Kliknete-li pravým tlačítkem na graf, zobrazí se vám ještě místní nabídka, ve které si můžete vzhled grafu dále upravovat.
Kromě ruční editace hodnot v tabulce můžete nad těmito daty spouštět úlohy, které tato data nějak hromadně modifikují. Tyto úlohy jsou popsány v nápovědě, takže se tím tady nebudu zdržovat.

Výsledky:
Kromě výsledné křivky jsou v grafu umístěny ještě tyto údaje:

Range (rozpětí)
Rozpětí je rozdíl mezi nejvyšší a nejnižší latencí v souboru dat. (nezajímavá veličina)

Variance (rozptyl)

Ačkoliv vzorec vypadá složitě, nic složitého na výpočtu rozptylu není.
1. Aplikace projde všechna data a sečte hodnoty všech latencí. Tento součet vydělí počtem dat, čímž získá průměrnou latenci. Když máme vypočtenou průměrnou latenci můžeme se pustit do rozptylu.
2. Aplikace prochází opět všechna data a od jednotlivých hodnot latencí odečte průměrnou latenci, výsledek umocní (aby dostal vždy kladné číslo). Součet těchto hodnot vydělený počtem dat nám pak udává rozptyl. Protože se umocňovalo, je rozptyl udáván ms2 (milisekundy2).

Směrodatná odchylka (standard deviation)

Směrodatná odchylka není tedy nic jiného než druhá odmocnina z rozptylu (ms).
Odchylka nám vlastně udává průměrnou vzdálenost hodnot latencí od přímky průměrné latence.
Pokud je odchylka nulová, znamená to ideální stav, kdy všechny hodnoty latencí leží na přímce průměrné latence. Čím vyšší je hodnota této odchylky, tím více jsou hodnoty latencí vzdáleny od ideálního stavu přímky průměrné latence - křivka průběhu latencí je více rozkolísaná od průměrné latence.

Variační koeficient (Coefficient of variation)

Vydělíme-li standardní odchylku průměrnou latencí dostaneme právě tento koeficient variance (%).
Je to sice jen hra s čísly, ale tato hodnota udává z kolika procent se směrodatná odchylka podílí na průměrné latenci. Opět, čím vyšší procento, tím jsou hodnoty naměřených latencí více vzdálené od ideální přímky průměrné latence.

Hodnoty rozptylu, směrodatné odchylky či variačního koeficientu jsou standardní veličiny charakterizující variabilitu (proměnlivost) dat, tak proč je nevyužít. Myslím si, že to jsou celkem dobré veličiny, které popisují průběh křivky a rozhodně daleko lepe než-li 99th percentila. V každém případě však micro stuttering neodhalí.

PS: Napadlo mě, že by nebylo od věci vyzkoušet a otestovat řešení, kdy by se k průměrné latenci jednoduše připočetla hodnota směrodatné odchylky. Získali bychom jednu hodnotu, ve které by byla zahrnuta jak průměrná latence, tak i rozkolísanost výsledné křivky. Ale nevím, jestli je to matematicky správně. Je tady nějaký matematik?

[webwalker]

Histogramy
Aplikace FrapsCut obsahuje celkem dva typy histogramů

1. Normální histogram

Jedná se klasický histogram, ve kterém jsou na ose X vyznačeny naměřené latence (zaokrouhleny na celé číslo) a do osy Y zanášeny počty snímků, které byly vyrenderovány právě s touto latencí.

2. Zájmový histogram

Zájmový histogram je obdobou normálního histogramu s tím rozdílem, že osa X je rozdělena do několika intervalů, do kterých je na osu Y zanášen počet snímků, které byly vyrenderovány v daném intervalu latence.

Intervaly latencí:
0 - 8,3 (ms) => 0 - 120 (MHz/fps)
8,4 - 16,6 (ms) => 120 - 60 (MHz/fps)
16,7 - 20 (ms) => 60 - 50 (MHz/fps)
20,1 - 33,3 (ms) => 50 - 30 (MHz/fps)
33,4 - 40 (ms) => 30 - 25 (MHz/fps)
40,1 - 50 (ms) => 25 - 20 (MHz/fps)
více jak 50 (ms) => méně jak 20 (MHz/fps)

Výsledky:
Hodnoty grafu ukazují absolutní hodnoty počtu snímků v daném intervalu. Výsledky v legendě grafu pak ukazují relativní poměr počtu snímků v daném intervalu k celkovému počtu snímků celého průběhu (v procentech).

Vzhledem k tomu, že je zde počítáno pouze s prostým počtem snímků a není brán ohled na to, o kolik jednotlivý snímek překročil daný interval, nemyslím si, že jsou právě histogramy tím nejlepším způsobem pro porovnávání výkonu dvou gpu

Daleko lepším způsobem se jeví funkce "Časy nad", ke kterému se snad dostanu a popíšu zítra.

PS: Právě připravuji novou verzi aplikace, která bude optimalizována i pro analýzu dat v řádu stovek tisíc latencí obsažených v souboru frametimes.csv. Takže chcete-li ještě do této nové verze něco doplnit, dejte mi vědět.

[webwalker]

Dnes bych rád vysvětlil funkci "Časy nad" aplikace FrapsCut. Myslím, že to bude mnohem záživnější povídání, než-li minule o histogramech.

Časy nad
Čas(y) nad nám udávají, jakou celkovou dobu gpu tráví nad specifikovanou hranicí času. Kvůli dobrému vysvětlení začnu tentokrát s grafem č.2.

2. Detailní graf

V tomto grafu můžeme nastavit libovolnou hranici času, kterou chceme zkoumat (defaultně je nastavena na 16,6666 ms - 60MHz/fps).
Aplikace následně prochází všechny jednotlivé naměřené latence v souboru a pokud zjistí, že právě testovaná hodnota latence je vyšší nežli námi stanovená hranice, vypočítá rozdíl mezi danou latencí a stanovenou hranicí. Takto zjistíme o kolik je daná latence vyšší než nastavená hranice času - kolik času gpu trávilo nad námi stanovenou hranicí. Jednotlivé výsledky jsou zanášeny do grafu a také sumarizovány.

Pokud se kouknete na výše uvedený graf, tak právě tyto hodnoty představují červenou oblast grafu. Suma těchto červených hodnot vlastně představuje nějakou plochu, která nám představuje absolutní dobu, kterou gpu tráví nad specifikovanou hranicí. Pokud bychom hledali nějakou vypovídající relativní výslednou hodnotu, pak nejlepším způsobem je zjistit, z kolika procent se tato červená "plocha" podílí na celkové ploše grafu (celková plocha = červená plocha + modrá plocha).

Výsledky:
Kromě samotného grafu jsou v legendě grafu uvedeny ještě následující výsledky.
Frame count - počet latencí, které překročily námi stanovenou hodnotu
Time spent - absolutní doba, kterou gpu trávilo nad stanovenou hranicí (ms)
Percentage of total time - z kolika procent se čas nad stanovenou hranicí podílí na celkovém času gpu (%)

1. Souhrnný graf

Tento graf je pouhou sumarizací toho, co nám ukazuje detailní graf. Jsou zde pouze sumarizovány hodnoty pro následné hranice času:

16,6666 ms (60MHz/fps)
20 ms (50MHz/fps)
33,3333 ms (30MHz/fps)
40 ms (25MHz/fps)
50 ms (20MHz/fps)

Myslím si, že na rozdíl od histogramu či 99th percentily, má analýza časů opravdu dobrou vypovídající hodnotu. Abych se nechlubil cizím peřím, tak i tohle je myšlenka Scotta Wassona (Techreport) a já ji jen trochu modifikoval. Chtělo by to ale ještě hodně testovat, hlavně tu vypovídací schopnost mezi různýma gpu.

Nová verze:
1. Oprava několika chyb
2. Vylepšené zpracování souborů s velkým množstvím dat
3. Odkaz na toto fórum v okénku "About"

Stahovat můžete zde >>>

[xwing]

Zaujímavý programík a hneď mám aj nápad ako ho vylepšiť.

Čo tak merať MS/"chlpatosť" ako rozptyl, ale nie voči celkovému priemeru, ale voči kĺzavému za x (napr. 5) snímkov alebo x (napr. 500) milisekúnd? Túto hodnotu (počet snímkov alebo počet milisekúnd podľa typu) by si nechal ako voliteľný parameter nastavovaný pred výpočtom, ktorý z nich použiť a akú hodnotu nastaviť bude potrebné zistiť experimentálne aby sa dobre prejavili rozdiely a zároveň aby to nebolo príliš skreslené.

Cieľom je minimalizovať vo výslednom čísle vplyv zmien v náročnosti scény a tým zvýrazniť rozdiely vyplývajúce z nerovnomerného renderovania snímok spôsobujúceho microstuttering.

Meranie MS.PNG

Pre názornosť som spravil v exceli jednoduchý príklad takmer ideálneho priebehu fps čo sa týka microstutteringu. Hore vidno 8 posledných hodnôt (dokopy ich je 49), riadok pod poslednou hodnotou je popis - latencia v ms, kĺzavý priemer z najbližších 5 hodnôt (aktuálny snímok, 2 dozadu a 2 dopredu), rozptyl daného snímku od celkového priemeru a rozptyl daného snímku od kĺzavého priemeru.
Pod tým je tabuľka pre výpočet rozptylu, štatistickej odchýlky a priemeru. V druhom stĺpci je použitý vzorec, v treťom výsledok pri výpočte z celkového priemeru a v poslednom výsledok pri výpočte z kĺzavého priemeru. Pri klasickom priemere sú rozptyl/odchýlka relatívne veľké, pri kĺzavom sú rozptyl/odchýlka výrazne menšie keďže je redukovaný vplyv náročnosti scény na latenciu a rozdiely medzi jednotlivými snímkami sú minimálne (zvyčajne 1-2ms), tzn. táto odchýlka z kĺzavého priemeru dobre znázorňuje skutočné rozdiely medzi jednotlivými snímkami.

Meranie MS2.PNG

Tu je opačný extrém, rovnako náročná scéna s výrazným microstutteringom. Kĺzavý priemer ju síce mierne "vyhladí" (odchýlka 4ms namiesto reálnych 5ms) ale aj tak dostatočne dobre zobrazí.

[webwalker]

@xwing: Hm, to vypadá parádně
To by realizovat určitě šlo.

1. Ten měřený rozsah (ten malinký úsek pro měření) by musel být stanoven počtem snímků. Časem (ms) by to byl problém - latence mají různou hodnotu, takže by často (prakticky vždy) tento interval překračovaly (ta poslední hodnota latence by se musela poměrově rozdělit mezi dva intervaly).

2. Ty počítáš interval s pěti sousedícími snímky. Takže dva sousedící intervaly v sobě obsahují vždy dvě stejné hodnoty latencí (jsou jak v jednom intervalu tak také i ve druhém). Není to ovlivňující?
Nebylo by lepší pohybovat intervalem 5 snímků a pak dalších (nových) 5 snímků? Výsledných hodnot by pak bylo sice méně, ale nebyly by ovlivněny duplicitními hodnotami. Nebo to byl nějaký záměr?

[yuri.cs]

Ano, xwing to rozsek. Problem bude s parametrizaci. Kolik snimku brat? 5, 10, 15, ...?