Windows 10 WDDM 2.0 memory management

[Hladis]

Vše plynulé.. v benchu od SoM si to spapalo 2,7GB

Proto pisu snad kazdymu, ten bench vůbec není smerodatny k samotny hre a nemá cenu v nem merit. Je to predpripravena nenarocna scena, která se nahraje do pameti (nepotrebuje ji tolik) a nemá s ni problem obecne i slabsi karty. Jakmile ale vyjdete do světa (především druha travnata cast) , tak okamzite to zacne drhnout. Tu hru je třeba testovat primo hranim a ne v tom benchmarku.

[VeCkO]

jojo, proto jsem uvedl, že bench mi spapal "jen" 2,7GB a ingame 3,2-3,8GB

[Ache]

Tak se chvíli zase pozoroval psi (Watch Dogs) a chování té paměti...
na předchozí straně jsem napsal tohle:

Podle mě hlavně na to budou muset pořádně vyladit ovladače, protože jsou tam rezervy. Hlavně aby se nějaká často používaná opakující se textura neloadovala do RAM (ve Watch dogs třeba silnice, nebo chodník) a naopak nějaké jednorázové textury (třeba billboard) naopak nezaplavovaly VRAM.

... jak to vypadá, tak se ale děje. Opakoval jsem v několika místech (na save pozici) načítání hry. A výsledek vždy stejný. Watch dogs hned po loadu nízké fps a obří vytížení PCI-E. A bez jediného sáhnutí na myš nebo klávesnici ta samá scéna po chvíli sama začne klesat s vytížením PCI-E a stoupne výrazně FPS.

hned po loadu: http://abload.de/img/watch_dogs_2015_08_23w1bje.jpg
asi 5-10 sekund čekání: http://abload.de/img/watch_dogs_2015_08_238wxoe.jpg
(ty poslední procenta v pravo jsou vytížení PCI-E)

adaptivní přesun\ náročných textur do VRAM a nenáročných do RAM asi tedy funguje, ale na té situaci mě ještě jedna věc zaráží... vytížení "VRAM" (respektive grafické paměti). Že by to co to ukazuje v OSD nebyla veškerá zabraná paměť pro grafiku? (protože v tom samém nastavení byla taková GTX970 zabraná přes 3GB ihned po loadu)

[webwalker]

Na jaké grafice je to testováno?

... jak to vypadá, tak se ale děje. Opakoval jsem v několika místech (na save pozici) načítání hry. A výsledek vždy stejný. Watch dogs hned po loadu nízké fps a obří vytížení PCI-E. A bez jediného sáhnutí na myš nebo klávesnici ta samá scéna po chvíli sama začne klesat s vytížením PCI-E a stoupne výrazně FPS.

Vzpomínáš, co říkal Huddy?

[Hladis]

Huddy kecal něco o HBM a 4GB VRAM a nevztahoval to ani na Win 10. Coz si muze zabalit do uzlicku a jit uzkym hrdlem to zkusit, když cely uzky hrdlo je prave sbernice. U Acheho s 2GB VRAM je problem to, ze ma PCI-E 2.0, coz je rychlostne horsi nez PCI-E 3.0, dale i tech 2GB je proste malo pro render scen u náročných her na VRAM a problem je i predikce, kdy to musí predikovat jaky textury se mají tahat do VRAM pro render. Když to loadne, tak mu to zacne cachrovat s datama, aby ty spravny hodil tam kam potřebuje.

PS: Ikdyby Ache mel na ty svy GTX 670 HBM pameti a sirsi sbernici, tak mu to nejspis nijak nepomuze.

[webwalker]

Ať Ache nahodí průběhy (Vytížení GPU, Clock, RAM, VRAM, PCIE) a ne jen shooty, pak pokecáme

[Ache]

PS: Ikdyby Ache mel na ty svy GTX 670 HBM pameti a sirsi sbernici, tak mu to nejspis nijak nepomuze.

Hlavně OCčkem paměti získám víc než těch rozhodujících 16+16GB/s oběma směry.... a v mém případě jen 8+8GB/s.
default: http://gpuz.techpowerup.com/15/08/23/3ww.png
mem OC: http://gpuz.techpowerup.com/15/08/23/7bw.png
(pro případný slepce - 192GB/s vs. 230GB/s)

Tahání textur přes express je prostě pomalejší a dá se to použít jen na ty méně používaný (a kupodivu se o to asi mem management snaží... ale rezervy to má, minimálně ve Watchdogs). To že ty přenosy údajně ukrojí propustnost VRAM je nedůležité. - 32GB/s je něco co dožene běžné OC (tuhle frekvenci dával na GTX670 od Gigabytu snad každý tady na foru a v mých rukou snad 3-4 kusy - tenhle je jiný než ten co jsem měl před tím (třeba i v tom že ASIC místo 73% má 82%).

[Hladis]

Ať Ache nahodí průběhy (Vytížení GPU, Clock, RAM, VRAM, PCIE) a ne jen shooty, pak pokecáme

A ty nemuzes project nejaky grafarny vcetne AMD ve WD s jednotnym nastavenim po ty trase viz. předchozí testy s oneb1tovou trasou ? Jako spekulovat se da do nekonecna, ale nad tvrdy data neni.

Podle me bude uzky hrdlo u PCI-E proste brzda at se GPU třeba uvari a cim vetsi nárok na VRAM a mensi VRAM, tim vic to bude vykonoste padat na usta s tim, jak moc to do systemovy pameti bude sahat.

Hlavně OCčkem paměti získám víc

To platilo u GTX 6xx obecne, ze OC pameti jim pomáhalo s vyssim fps uz před W10. Samo lepsi pameti by pomohli ty karte obecne i bez W10, ale vztahuju ty HBM na tuhle situaci a ta spis hovori o limitu PCI-E.

[webwalker]

Já WD nemám a nepoužívám protože ... Ubisoft. Mohl jsem WD mít za 200,-, ale s díky jsem odmítl, stačí mi problémy s GTA V a Witcher 3 (abych nepomlouval jen Ubisoft).

Pokud se hra načte a zobrazí se scéna na obrazovce znamená to, že všechna potřebná data pro daný snímek jsou už ve frame bufferu. Další čtení z RAM přes PCIE jsou data navazující pro budoucí použití, tedy bufferovaná. Pokud ti tam jde snímková frekvence dolu, je třeba zjistit proč. Jestli je vhodné to zkoušet právě na mimózní uarch Kepler je otázkou. Tahle uarch se hrubě nepovedla (po kolikáté už o tom mluvím) a je zajímavý, že byla tak úspěšná - holt marketing.

[del42sa]

jen dotaz v čem měříte to vytížení PCI-e sběrnice ?

[CageJ]

MSI Afterburner

[Ache]

Já WD nemám a nepoužívám protože ... Ubisoft. Mohl jsem WD mít za 200,-, ale s díky jsem odmítl, stačí mi problémy s GTA V a Witcher 3 (abych nepomlouval jen Ubisoft).

Když čtu co píšeš... jen jestli spíš nemáš problémy s hrama s logem nvidia...
Co sakra máš za problémy s GTA V, to je ukázkový port z konzole. Jede dobře jak na Nvidia tak AMD, nestutteruje, nedělá chyby (pokud na AMD nastavíš AMD stíny a na Nvidiu Nvidia).

[Krteq]

Prosba na Acheho. Mohl by jsi nechat MSI AB logovat průběh včetně FPS, frametimes a vytížení PCI-E a pak ten log někam uploadnout. Docela bych se mrknul co se tam přesně děje.

[Ache]

ok, to co je na screenech - hned po loadu zkusim prohnat logem.
Frametimes se ale neliší. hra je plynulá (bez stuteru) ať to tahá po expressu 10 nebo 40%.

[Hladis]

Já WD nemám a nepoužívám protože ... Ubisoft. Mohl jsem WD mít za 200,-, ale s díky jsem odmítl, stačí mi problémy s GTA V a Witcher 3 (abych nepomlouval jen Ubisoft).

Pokud se hra načte a zobrazí se scéna na obrazovce znamená to, že všechna potřebná data pro daný snímek jsou už ve frame bufferu. Další čtení z RAM přes PCIE jsou data navazující pro budoucí použití, tedy bufferovaná. Pokud ti tam jde snímková frekvence dolu, je třeba zjistit proč. Jestli je vhodné to zkoušet právě na mimózní uarch Kepler je otázkou. Tahle uarch se hrubě nepovedla (po kolikáté už o tom mluvím) a je zajímavý, že byla tak úspěšná - holt marketing.

Tak takhle se nikam nedostanem, když tomu brani "ideologicky" odmitani nekterych her. WD je dobra hra s vybornym vizualem, GTA V je taky chvalen za dobry port a Witcher 3 ma mouchy především na strane vyvojaru, ale jako hra je to super. Všechny tyhle hry jsou etalon open world, takze ignorovat je nicemu nepomuze,

Ache to psal a myslim si tez, ze vykon jde dolu prave kvuli tomu, ze hra se loadne a zacne to po loadu optimalizovat data, který mají byt ve VRAM a který v RAM. Nakonec je to cely postaveny na predikci, jaky další data bude potrebovat s tim, kam se eventualne hne. Ta hra se snazi do VRAM nacpat všechno, i to co tam byt nemusi a po tom loadu se to roztridi.

S tim Keplerem to smrdi OT, ale uspesnost neceho se meri prizeme prachama a Kepler sedel na trune vykonu pekne dlouho a v Teslach ještě nahrazen ani neni. Sorry ale muze se ti to nelibit, ale to je tak vse co s tim muzes delat. To je jak no-X se me kdysi snazil presvedsit, jaky byla Geforce 4 MX fail Nevim proc to na nem nezkouset, když u AMD by se to mělo zkouset třeba na Tonze, coz je spis ukázka neuspechu a Tahiti. Tohle ma momentalne vyznam prave pro karty s mensim poctem VRAM. U karet nad 3GB VRAM se to uz nemá moc sanci projevovat.

[Krteq]

vykon jde dolu prave kvuli tomu, ze hra se loadne a zacne to po loadu optimalizovat data, který mají byt ve VRAM a který v RAM. Nakonec je to cely postaveny na predikci, jaky další data bude potrebovat s tim, kam se eventualne hne. Ta hra se snazi do VRAM nacpat všechno, i to co tam byt nemusi a po tom loadu se to roztridi.

Ale prdlajz. Pod DX11 tohle řídí driver, hra skoro nic neřídí, jen říká driveru kolik prostředků bude potřebovat.

Tady máš vysvětleno jak to pod WDDM 2.0 funguje (už to tu bylo postováno několikrát, ale očividně jdi to nečetl a jako obvykle vaříš z vody)

Memory Management

GPU virtual memory

• All physical memory is abstracted into virtual segments that can be managed by the graphics processing unit (GPU) memory manager.
• Each process gets its own GPU virtual address space.
• Support for swizzling ranges has been removed.
  
  For more details, see GPU virtual memory in WDDM 2.0.

Driver residency

• The video memory manager makes sure that allocations are resident in memory before submitting command buffers to the driver. To facilitate this functionality, new user mode driver device driver interfaces (DDIs) have been added (MakeResident, TrimResidency, Evict).
• The allocation and patch location list is being phased out because it is not necessary in the new model.
• User mode drivers are now responsible for handling allocation tracking and several new DDIs have been added to enable this.
• Drivers are given memory budgets and expected to adapt under memory pressure. This allows Universal Windows drivers to function across application platforms.
• New DDIs have been added for process synchronization and context monitoring.
  
  For more details, see Driver residency in WDDM 2.0.

___________________________________________________________

GPU memory models

WDDM v2 supports two distinct models for GPU virtual addressing, GpuMmu and IoMmu. A driver must opt-in to support either or both of the models. A single GPU node can support both modes simultaneously.

GpuMmu model

• In the GpuMmu model, the video memory manager manages the GPU memory management unit and underlying page tables, and exposes services to the user mode driver that allow it to manage GPU virtual address mapping to allocations.

IoMmu model

• In the IoMmu model, the CPU and GPU share a common address space and page tables.

[Hladis]

Ja jsem to cetl Ze hra nic neridi ? No to jsi na omylu. Prave hra ma hlavni slovo v tom jaky prostředky pozaduje a potřebuje a jak je sama zpracovava, coz jsi sam napsal a driver se s tim musí poprat. Kazda hra ma jiny požadavky a s tim i souvisi rozdilny nároky na VRAM a jeji zaplneni. V tom se nezmenilo nic bez patchnuti samotny hry. Jiste prineses jiny uveritelny vysvetleni, proc po loadu ma hra tak nizky fps a velky trafik přes PCI-E, který pak ustane a fps se zvysi, jelikož bylo psano uz v minulosti, ze je to postaveny na predikci a jeji presnosti. Místo neustaly teorie je dobry delat prakticky testy. A doporučuju si pohrat s memory managementem u Skyrimu a pohrat si s wrapperem. Sice je to DX9, ale clovek aspoň vi, jak to prakticky funguje.

[Krteq]

Ja jsem to cetl Ze hra nic neridi ? No to jsi na omylu. Prave hra ma hlavni slovo v tom jaky prostředky pozaduje a potřebuje a jak je sama zpracovava, coz jsi sam napsal a driver se s tim musí poprat. Kazda hra ma jiny požadavky a s tim i souvisi rozdilny nároky na VRAM a jeji zaplneni. V tom se nezmenilo nic bez patchnuti samotny hry.

Ano, jak jsem napsal, hra/engine samotný si nic neřídí, jen říká driveru kolik paměti má pro ni alokovat a driver už se stará o všechno ostatní. Hra/engine si už pak jen ukládá do/tahá si z adresovaného prostoru co potřebuje. Takhle to snad fungovalo vždycky.

Jiste prineses jiny uveritelny vysvetleni, proc po loadu ma hra tak nizky fps a velky trafik přes PCI-E, který pak ustane a fps se zvysi, jelikož bylo psano uz v minulosti, ze je to postaveny na predikci a jeji presnosti.

Už jsem přinesl. Máš to popsáno v těch citacích z MSDN.

O žádnou "predikci" se nejedná, hra si řekne driveru a ten ji alokuje potřebný segment z virt. memory poolu, proto ty přenosy na začátku. Hra si to tahá postupně, protože neví a ani nedokáže odhadnout, kolik prostředků bude zrovna potřebovat, tak se snaží tenhle cyklus projet tolikrát, dokud ji ta alokovaná paměť nestačí, pak už se to ustálí a jen si to koriguje.

Stačí, nebo to chceš i s obrázky?


Hladis//Vydeleno OT.

[Hladis]

O žádnou "predikci" se nejedná,

Pokud je k dispozici více paměti, než je pro příslušnou scénu třeba, může hra zbývající prostor využít pro textury, jejichž využití očekává v následujících scénách - zda budou nebo nebudou využité je věcí úspěšnosti predikce - pokud se třeba hráč otočí a půjde hrou zpět namísto vpřed, asi to úplně optimálně fungovat nebude.

Hadej odkud to je a kdo to psal.

Edit// Samozrejme ze hra si rekne kolik chce alokovat a to se stane, jen cast je ve VRAM a cast v RAM a driver musí spravne roztřídit při loadu sceny, ktera data musí byt ve VRAM a který v RAM a to jsou ty prenosy a zpomaleni. Predikce se tyka toho, ze se musí urcit, který další data bude hra nasledne potrebovat, aby byly ve VRAM s předstihem, nez si o ne hra rekne. Pokud to neudela, nebo nemá misto, zacne dotycny data GPU tahat primo z RAM z virtuálního poolu a to je to zpomaleni pri behu hry. Jakmile jedu ve WD a pri rychle menici scene nejaka cast dat neni ve VRAM ale v RAM, dojde k zretelnymu poklesu fps. To jsem si otestoval taky a dosel k tomu i Ache, jen u nej se to projevuje casteji a pokles je vetsi vzhledem k velikosti pameti.


Hladis// Blaho zadny další OT, jinak varovani.

[Krteq]

Krásně jsi to vytrhnul z kontextu

V současnosti už jde o více-méně streamovanou záležitost, kdy grafická paměť funguje spíš jako určitý buffer, do kterého jsou průběžně nahrávány textury používané v aktuální scéně a scéně (či scénách), které budou pravděpodobně následovat. Kapacita paměti tudíž nemusí stačit pro určitý rozsáhlý úsek hry, ale jen pro příslušnou vykreslovanou část. Pokud je k dispozici více paměti, než je pro příslušnou scénu třeba, může hra zbývající prostor využít pro textury, jejichž využití očekává v následujících scénách - zda budou nebo nebudou využité je věcí úspěšnosti predikce - pokud se třeba hráč otočí a půjde hrou zpět namísto vpřed, asi to úplně optimálně fungovat nebude.

Tohle se ale netýká WDDM 2.0. To je standardní chování z předchozích verzí. Ve WDDM 2.0 je tenhle systém odebrán jako obsolete (viz. předchozí citace).

The allocation and patch location list is being phased out because it is not necessary in the new model.

Tady to máš popsané:

• Splitting a DMA Buffer (pre WDDM 2.0)
• Residency overview (WDDM 2.0)

Řešíme snad chování memory managementu pod Win 10 (WDDM 2.0), tak sem nepleť chování v předchozích verzích WDDM.

//EDIT:

Samozrejme ze hra si rekne kolik chce alokovat a to se stane, jen cast je ve VRAM a cast v RAM a driver musí spravne roztřídit při loadu sceny, ktera data musí byt ve VRAM a který v RAM a to jsou ty prenosy a zpomaleni. Predikce se tyka toho, ze se musí urcit, který další data bude hra nasledne potrebovat, aby byly ve VRAM s předstihem, nez si o ne hra rekne. Pokud to neudela, nebo nemá misto, zacne dotycny data GPU tahat primo z RAM z virtuálního poolu a to je to zpomaleni pri behu hry. Jakmile jedu ve WD a pri rychle menici scene nejaka cast dat neni ve VRAM ale v RAM, dojde k zretelnymu poklesu fps. To jsem si otestoval taky a dosel k tomu i Ache, jen u nej se to projevuje casteji a pokles je vetsi vzhledem k velikosti pameti.

Stále to nechápeš. WDDM 2.0 si vytváří vritual memory pool z celé fyzické paměti, nerozlišuje mezi VRAM a RAM

All physical memory is abstracted into virtual segments that can be managed by the graphics processing unit (GPU) memory manager.