Windows 10 WDDM 2.0 memory management

[Hladis]

To ze je to ted jeden velky pool, to jsem snad nikde nerozporoval a to jsem i napsal. Odpadli latence a GPU ma RAM k dispozici bez toho, aby ji v tom smatral system. viz. co jsem tu nahozaval v sitacich z WDDM 2.0. Kazdopadne at to ctu jak chci, tak se jen zmenil ten, kdo urcuje jaky data potřebuje a odpadl meziclanek. Dale většina dnesnich her ani nemá primou podporu pro Virtualni adresovani a jede v "legacy modu". Nejde hodit data nahodile do VRAM a RAM jako jednoho poolu a GPU si je bude brat tam kde jsou. Stale by mela byt video pamet delena na vnitrni segmenty jako to bylo doposavad. To by musel SoM se zabranim 6GB pameti zacit lagovat jak prase s poklesem fps, pokud dojde na data ulozeny v RAM (stale se bavim o RAM jako soucasti cely videopameti ). To se da zjistit testovanim, zda bych narazil na casti sceny, která je ulozena v RAM a GPU to zacne tahat odtamtud a dotycna scena bude proste slow a slow zustane, protože data budou sedet tam kde jsou.

[Krteq]

Však je ten pool dělen na segmenty, to opravdu neumíš číst? Máš to v mým poslednim postu a ještě to máš zvýrazněné červeně

Ale ty segmenty nejsou nijak dělené na segmenty v RAM a VRAM, prostě virt. prostor. Tohohle využívá i DX12 multi-adapter.

Přečti si ještě jednou co jsem psal prve

Už jsem přinesl. Máš to popsáno v těch citacích z MSDN.

O žádnou "predikci" se nejedná, hra si řekne driveru a ten ji alokuje potřebný segment z virt. memory poolu, proto ty přenosy na začátku. Hra si to tahá postupně, protože neví a ani nedokáže odhadnout, kolik prostředků bude zrovna potřebovat, tak se snaží tenhle cyklus projet tolikrát, dokud ji ta alokovaná paměť nestačí, pak už se to ustálí a jen si to koriguje.

Stačí, nebo to chceš i s obrázky?

[Hladis]

VRAM vždy byla delena na segmenty......... to nekteri kdysi rozporovali, viz. kauza GTX970. Ale mezi temi segmenty se musí ta data pohybovat tam, kde to GPU potřebuje a GPU potřebuje data pro scenu a pristi scenu fyzicky ve VRAM a ne v RAM, ikdyz je to cely jeden pool. Nyní jen odpadl mezičlánek a urcuje si to sama GPU...... blize k hardwaru. ALE pokud data nejsou fyzicky ve VRAM, dojde k propadu vykonu a pokud zustanou tam kde jsou, ten propad bude konstantni bez zmeny. Někdo tedy urcuje, kde ty data mají byt a v jakym segmentu je potřebuje a není snad zadouci, aby to bylo v segmentu v RAM, když to GPU zrovna potřebuje. Ten někdo je ted samotna GPU a jeji memory management. Takze znovu, odboural se mezičlánek, ale potřeba toho mit data pro danou scenu ve VRAM zustala. Vzdyt se to v tech odkazech i pise. Stále mi jde o jednu věc a to tu, ze GPU potřebuje data pro render v nejrychlejsim segmentu pameti a tak si je tam musi natahat. Jakmile zacne sahat z nejakyho duvodu mimo fyzickou VRAM, dojde k nežádoucímu efektu propadu vykonu a aby tomu bylo zabraneno, musí se ty data pohybovat a ne stat v jednom poolu jak tvrdy Y.

[Krteq]

Stále nechápeš, tak začneme s obrázky




//MSDN - WDDM 2.0 GpuMmu memory model
MSDN - WDDM 2.0 - GPU segments

[del42sa]

To je zajímavé ta hodnota, že si to bere napevno až 45% systémové paměti. Když se to začalo tady řešit jako "bug" Nvidia ovladačů, tak jsem si říkal, že mi to chováním připomíná RAM disk (na mém předchozím boardu pro APU od AsRocku) a v podstatě to jako virtuální memory pool funguje, jen s tím rozdílem že tohle je výhradně pro potřeby GPU

[Hladis]

Krtek:
tohle nikam nevede.

del42sa:
Video pamet byla před tim smisena se systémem a system to tam prohazoval jak se mu chtelo s ostatními daty. Takze sice bylo k dispozici teoreticky velky mnozsvi celkovy videopameti, ale bylo to sdileny. Ted to vydelili, aby do toho system nesmatral. Naskyta se otázka, proc to neudelali uz drive. Nejspis nebyla potřeba a spolehalo se ciste na velikost VRAM.

[del42sa]

Naskyta se otázka, proc to neudelali uz drive. Nejspis nebyla potřeba a spolehalo se ciste na velikost VRAM.

přesně tohle mě napadlo, IMHO to mohlo klidně fungovat už na sedmičkách, ale zase MS potřebuje nějak lidi přinutit k upgrade, že ?

Každopádně je to rozhodně dobrá věc a krok vpřed.

[Krteq]

Krtek:
tohle nikam nevede.

Pravda, nevede... tak aspoň poslední pokus. Máš to tam popsáno krok po kroku i s obrázky.

GpuMmu Example Scenarios

[webwalker]

Hladisi, jsi porad vedle jak ta jedle a měl bys pořádně poslouchat Huddyho
Víš, co jsou to Tile Resource? Tak tohle je něco hodně obdobného, jen to nemá na starost hra, ale driver a GPU. Predikce žádná složitá být nemusí, všechny zdroje jsou stránkovány v Pages no a ty potřebné jsou v VRAM (ostatní v RAM). K tomu ale potřebuješ Virtual Memory! Data se přes PCI-E tahají pomocí DMA, paralelně k Command Buffers, žádný propad výkonu by tedy být neměl (pokud to nejsou data právě potřebný k vyrenderování snímku), kromě jednoho možného propadu - okrádání šířky pásma VRAM přenosy přes PCI-E.

Proč to nešlo u předcházejících WDDM na Vista, Win7, Win8? Důvod je prostý, tam s managementem úřadoval KMD (Kernel Mode Driver). Víc už psát nebudu, bude o tom článek.

[Hladis]

Sorry, ale pohadkare a placku Huddyho fakt ne, ani s rozdavanim bonbonu zadarmo.
Vim co je Tile Resource, ale tahle featura se ještě nepouziva, nevim o hre, která by ji mela.
Nikde nepisu o tom, ze by predikce mela byt slozita, ale je tam a hraje svou roli.
Ty "potřebne" musí fyzicky v te VRAM byt....... a něco je tam musí poslat.
Muhee "byt nemel" ........ a to je prave to, opet jen teorie. Dokaz to prakticky, pak se muzem bavit dal. Proc asi chci ty testy ? Zatím mi z toho co jsme s Achem otestili vychazi, ze PCI-E je uzky hrdlo a znovu upozorňuju, ze nynejsi tituly nemaji primou podporu virtuálního adresovani a jedou v legacy modu coz muze hrat svou roli.

[Krteq]

Zatím mi z toho co jsme s Achem otestili vychazi, ze PCI-E je uzky hrdlo a znovu upozorňuju, ze nynejsi tituly nemaji primou podporu virtuálního adresovani a jedou v legacy modu coz muze hrat svou roli.

Prostě nepochopil

Tohle si řídí OS v kooperaci s driverem, je jedno jestli se jedná o DX7 nebo DX11 titul. Žádný "WDDM legacy mód" neexistuje

[CageJ]

noo.. neviem este uplne ako to funguje.. ale celkovo dostupnu pamat ovplyvnuje aj pagefile.. skusim potestovat, ako jej velkost ovplyvnuje vykon, a co robi uplne vypnutie..

Virtualna RAM:
(2048MB VRAM + 16 384MB RAM) * 0,45 = 8294MB


AKO SI VSIMNEME v AIDE, CELA GRAFICKA PAMAT NEBYVA VYUZIVANA, max co som videl bolo dedicated 1907MB a dynamic cca 80MB = SPOLU < 2048MB
ALE MSI cita v W10 virtualnu pamat, ktora ma kapacitu TAKMER 10GB! ~ 10200MB = 8294 + 2048 (cislo nie je spravne, lebo to nie je uplnych 45%)

vyuzitie VRAM_RAM.jpg

vyuzitie VRAM_RAM2.JPG

Dalej neviem co ma Ache za problem ale u mna nebyvy PCIex vyuzita nad 17-18%, nejaky lag tam skutocne je a vtedy pada k nule.

[Krteq]

cislo nie je spravne, lebo to nie je uplnych 45%

Však může využívat až 45% RAM, ne vždy naplno

[Ache]

Pro vás co rádi honíte nad logy... tak tady je téměř ta samá situace ze hry WatchDosg... logování od samotného spuštění hry až do ustálení fps a zátěže PCI-E.... v pohybu (přesunu do jiné lokace) to pak samozřejmě začne zase pracovat.

jedná se o tohle místo: http://abload.de/img/watch_dogs_2015_08_24oksr0.jpg
a log je zde: http://uloz.to/xSdb9EpE/hardwaremonitoring-hml

HW polling je 500ms.

[Krteq]

Díky

It's a FAP time xD

[Ache]

A dál? Pošlu log a nic.. žádný rozuzlení? Nebo zatim stále FAP time?

Já od tý doby mam na pozadí puštěný ty WD, teďka je dvě hodiny jedu v kuse a ustálená zátěž vypadá takto:
http://abload.de/img/watch_dogs_2015_08_24bvlek.jpg

S tím, že při přejezdech městem se občas naráží na to že v nové lokaci, nebo při změně denní doby stoupne více vytížení PCI-E a začne limitovat výkon (hranice je tak kolem 25-30%). Takový COD Ghosts tam i 40% vytížení expressu nijak znatelně neomezovalo výkon.

Ale pořád lepší nějaký ten pokles fps, než nechutný stuttering. Takhle plynule Watch dogs neběžely ani na GTX970 pod W8. Tohle se Mrkvosoftu fakt povedlo.

EDIT: ale fakt by mě zajímalo, co hlavně ukazuje AB jako tu VRAM... je totiž jisté, že se nejedná o všechnu paměť ve který jsou načtený grafický data a řekl byhc že se ani nejedná o data potřebná k renderu scény... ten samý případ se dá simulovat i na super optimalizovaných COD: Ghosts.

Tahle hra byla schopná v misi na následujícím screenu vyžrat po chvíli hraní TITANovi celých 6GB paměti, a na GTX780 3GB místy stutterovala dotahováním textur. A zde. zatížení paměti neukáže více než 3GB. Ale zajímavé je že i zde se zase naráží na Acheho efekt No.1546 = obrovský zatížení PCI-E:
http://abload.de/img/iw6sp64_ship_2015_08_bojj2.jpg - ale jen 2,7GB paměti v ukazateli. pak chvilka blbnutí a 3GB paměti v ukazateli a ta samá scéna už zase jen vytížení PCI-E kolem 15%. Což je fakt zvláštní ne? ukazuje to více zabrané paměti (tu si to půjčuje z RAM), ale zatížení přenosů po PCI-E v takové situci klesá.

A je vidět také, že se to snaží tu paměť držet pod 3GB... umí jí to celkem dobře čistit, a jediný extrém (vytížení až 5GB v intro misi) je ten hnusně vypadající SoM.

[webwalker]

AB to ukazuje celkem dost jasně. I přes přenosy přes PCI-E je vytížení GPU na MAX (díky asynchronnímu přenosu DMA). Snímková frekvence stoupá až když tyhle přenosy končí (Vytížení PCI-E klesá), schválně proč asi?

Ache.jpg

Ache2.jpg

U těch logů není vidět, kde co končí a začíná. Takže jsem to trochu ostříhal.
Kdybys chtěl udělat pořádný grafy udělej to takto:

1. Spusť AB a začni logovat
2. Měj nastartovanej FRAPS
3. Spusť hru
4. Jakmile se objeví úsek, který chceš zachytit spusť FRAPS
5. Na konci úseku ukonči záznam FRAPSu
6. Ukonči logování AB

Budeš pak mít záznam z FRAPSu a AB. Ty mi pošli, já je umím sloučit a grafy se už dělají automaticky.

[Ache]

U těch logů není vidět, kde co končí a začíná. Takže jsem to trochu ostříhal.

podle toho jak si to tam označil je vidět že chápeš o jakým úseku je řeč - kdy se se zatížení PCI-E 40% stane cca 8%.

A proč to běží pomalu je logický. Pokud to tahá větší množství z expressu na render snímku, tak těch 8GB/s fakt je nedostatečných. (to měla tak GF4 Ti po které se požadovali max. 512x512 textury)

[CageJ]

Ache u teba je problem uzka zbernica, je pravda, ze mam pomalsiu kartu ale PCIex nejde nad vytazenie 17%..
Testujes s 670GTX?

[webwalker]

A proč to běží pomalu je logický. Pokud to tahá větší množství z expressu na render snímku, tak těch 8GB/s fakt je nedostatečných. (to měla tak GF4 Ti po které se požadovali max. 512x512 textury)

Ano, tahají se data na render, nikoliv však na rendering aktuálního snímku. To by se projevilo ve vytížení GPU kde by vznikl Stall, který zapříčiní stutter!


Hladis//Upraven příspěvek.