NVIDIA DLSS - info a vše okolo

[Krteq]

...

Zrovna od tebe bych čekal nějaký sofistikovanější příspěvek. Ale chápu. DOC už tu tenhle případ popsal

[Hladis]

Nevim jaky "sofistikovanejsi" prispevek mam psat k tomuhle cirkusu o nejakou jeste nehotovou funkcicku (a nevim jaky pripad DOC popsal, o "popcornu" nikde nic nepsal ), ktera bude mit tlacitko on/off a je mi uplne u zadni casti tela. Takze klidne pokracujte, jdu si pro dalsi davku popkornu, protoze na cele "kauze" jsou zabavny asi jen ty rage reakce na takovou ptakovinu. Holt asi okurkova sezona.

//

.......vytvářeči AAA slopu..........

Daniel Vavra:
Kromě toho právě probíhá technologická revoluce, jaká tu ještě nebyla, která nevratně a naprosto zásadně změní to, jak vůbec dnešní hry a filmy vznikají. Opakovaně jsem v minulosti říkal (dva roky nazpět, jsem o tom měl velkou přednášku na GDS), že začínat dnes velký projekt, je jako stavět mezihvězdnou multigenerační kosmickou loď, která má 100 let letět k nejbližší hvězdě a v okamžiku kdy tam doletí, už tam je 97 let lidská kolonie, protože tři roky po odletu lidstvo vynalezlo nadsvětelný pohon a cestou zapomněli chudáky z předpotopní plečky vyzvednout. Doba, kdy počítačové hry a filmy dělají stovky lidí roky právě končí. Letos. Když dnes začnete vyvíjet s 300 lidmi projekt, který má vyjít za 5 let, dost pravděpodobně v době vydání budou podobné věci dělat dvacetičlenné týmy za pár měsíců. Myslet si o AI slopech můžete co chcete, ale je to tak.

Neudelas nic.

[zhor]

Tahle 'nextgen' honicka je casto jen zbytecny plejtvani zdrojema, uz pred cca 10 lety byly hry ktery vypadaly a behaly vyborne i na tehdejsim HW a pritom mely sotva 10-20GB. Pripada mi ze dnesni vyvojari to bud neumej a nebo chtej podporit vyrobce HW, to se jim ale zvlaste v soucasny dobe nemusi vyplatit, protoze hraci misto aby kupovali hry vyzadujici novej HW radeji nekoupej nic.

[DOC_ZENITH]

Tady jde o stejnou věc jako proč se masově rozšířil UE5 ač ve své full podobě s lumen/nanite vypadá v praxi většinou mizerně a často hůře jak 10+ let staré hry a přitiom má naprosto astronimocké nároky. Při jeho použití totiž nemusíš složitě dělat vlastní nasvětlení a LOD meshe/systémy. Je to kvůli ceně vývoje. Najímat UE store asset-flippery je levnější jak schopné vývojáře a artisty. Mít vlastní engine kterýmu rozumí pár lidí je i politickej problém, ti lidé se totiž pak stávaj nenahraditelnými a maj na projekt velkej vliv, což se pohlavárům nelíbí. Ono taky to množství opravdu schopných pokulhává. Už nejsme v době do toho zapálenejch géniů typu John Carmack co dokázali z hecu přes noc přepsat celej engine do jiného API a běhalo to dobře.

Dnes se z toho stalo gigantické industry shora už dolu. Nahoře máš investory a akcionáře co prd vědi/ničemu nerozuměj a rozhazujou paníze na základě hypu, trendů a ekonomickejch předpovědí. Pod tim máš management co taky vesměs ví prd a prioriotu je aby tekly peníze ne kvalita, a pod tim máš pracovníky co nejsou fanatici co na tom vyrůstali a obětovali tomu celé mládí a volnej čas, ale lidi co tento obor studovali aby jej pak najala firma do řadové pozice a oni to dělali jako job. Tzn kvalita upadá ceny astronomicky rostou, to jest realita. Čest vyjímkám a některým indie projektům, ale v mainstreamu toto prostě platí.

Hladis:

Vávra naráží na full neural-redenring a ono, pokud se ten stane realitou tak to co prohlásil je ihmo pravda. Začít teď vyjívejt ňákou gigantickou hru kterou budeš dělat třeba 5 let je jak snaha o vývoj nejlepšího parního traktoru když spalovací motory jsou za rohem a prototypy už ňák fungujou. Tohle co teď NV předvedla v podstatě je nerual rendering, ale místo text to image inputu to používá image to image. Stále to ale je masivní prokrok co se týče optimalizace a nároků, protože tohle co ukázali na jedné 5090? (protože ta druhá jen renderovala hru, místo ní tam mohla bejt 5060 a Grace by vypadala stejně, input rozlišení neni u tohodle moc zásadní a detaily neměli na max aby srovnáví více praštilo) fíha. Real-time video doteď bylo 720p a vyadalo jako trash. Pravděpodobně se hodně opíraj o ty Blackwell-only FP4 features co jsou fast. Tohle je v podstatě taková berlička protože text to image bejvá efektivnější, problém je vždy konzistence.

V budoucnosti v podstatě budou hry a levely (pokud tahle ideologie Nvidie půjde proměnit v realitu) jen taková snůška hrubejch low-polly konceptů, kde každej objekt, každá textura a tak bude jen sada parametrů a promptů. To samé postavy, jejich pohyby, interakce, vše. Goodbye animátoři, goodbye level designeři, goodbye texturáří, všichni. Děkujeme vám za vaše služby, vaše životní dílo bude použito pro training modelů a tím váš příběh končí. Nevýhody si všichno domyslíme. Výhody? Modely půjde swapovat za jiné, časem lepší, půjdou na ně aplikovat lora a jiné věci pro změnu art-stylu, tzn jedna hra může po x letech vypadat na 100 různejch způsobů jak kdo bude chtít. Chceš replacnout halvní postavu? Easy. Chceš změnit artystale? Atd, atd. I audio půjde dělat tímto způsobem.

Problém bude homogenizace a spousta těch modelů bude mít stejné základy takže stejnej "feel" a pokud dnes nadáváme na slop tak uff tohle teprve bude jízda.

NV teď bude stát před rozhodnutim. Jejich univerzílní GPU jsou na konci své cesty. Už s příchodem RT a tensorů začaly vyvstávat nepřijmené otázky, proto třeba poměr RT/raster výkonu se za x RT capable generací GPU prakticky nezměnil, protože nemůžeš dát moc toho na úkor tamtoho jinak by byl hate. Teď k tomu přibylo AI a neural-rendering cpabilities. Nemůžeš mít gigantickej drahej nenažranej čip co je dobrej ve všem trochu. V AI inferenci je už nahrazujou specializované čipy, training je taky otázkou času, na non-AI compute se dodnes nasazuje Hopper protože Blackwell je příliš AI a low-precision focused tzn pro toto nevhodnej. Jak dobrej by byl asi full neuro full FP4 only čip v neuro renderingu oproti herním GPU co maj stále primární focus na FP32 compute? Každá podporovaná funkce, každej podporovanej formát je něco co stojí tranzistory a plejtvá výkonem jinde. NV to bude muset více rozdělit a specializovat, nic jiného jim časem nezbyde protože shora tam kde jim to nejvíce sype na ně začínaj tlačit konkurenční custom řešení co jsou efektivnější. Pokud jsou lidé schopní kupovat GPU za 3000 dolarů nebyl by problém kdyby stálo 2000 a chyběly mu AI capabilities a compute, a k tomu by jsi měl možnej akcelerátor za 2000 co by naopak dominoval v tomhle a klasickej rendering by vůbec nepodporoval. Časem pokud by neural-rendering začal dominovat tak oldschool rendering grafika už by byla stále méně a méně podstatná až by časem komplet zmizela a lidem by stačilo to co umí urastrovat jejich integrované GPU v CPU. I samotná CPU maj k tomuto nakročeno protože chipset/tiled designy se k tomu nabízej. Máš seapré CPU/Northbridge/GPU tile nuo tak budeš mít také nero-tile a podle potřeby bude ta či ona větší a rychlejší.

[zombux]

Dnes se z toho stalo gigantické industry shora už dolu. Nahoře máš investory a akcionáře co prd vědi/ničemu nerozuměj a rozhazujou paníze na základě hypu, trendů a ekonomickejch předpovědí. Pod tim máš management co taky vesměs ví prd a prioriotu je aby tekly peníze ne kvalita, a pod tim máš pracovníky co nejsou fanatici co na tom vyrůstali a obětovali tomu celé mládí a volnej čas, ale lidi co tento obor studovali aby jej pak najala firma do řadové pozice a oni to dělali jako job. Tzn kvalita upadá ceny astronomicky rostou, to jest realita. Čest vyjímkám a některým indie projektům, ale v mainstreamu toto prostě platí.

super že highend hardware si teď najednou bude moct dovolit jen mizivej počet lidí.

[DOC_ZENITH]

Cílem je aby jsi žádnej takovej HW neměl, jen simple zobrazovalo a vše jsi si pronajímal v cloudu.

[Sobo]

Pokud prijde neural rendering do mainstreamu, tak to imho bude az za docela dost let (treba dekadu). V podstate je to uplne jina technologie vykresleni sceny, ktera vyzaduje naprosto odlisny softwarovy pristup a specializovany hardware. Jenze NV ani jina firma nemuze proste v ramci jedne generaci rict "Okej, neural render je budoucnost, a protoze jsme high-tech a jdeme trendum naproti, tak vam v tehle nove generaci vyhazime ven 90% cuda cores, TMUs, ROPs, a misto toho tam naperem co nejvic tensor cores pro FP4 akceleraci. Sice si na tom tisice starsich her poradne nezahrajete, ale to je obet, kterou jsme ochotni za vas ucinit".

Lidi by je s takovym HW poslali do hajzlu a neprodaval by se. Proto ten prerod musi byt postupny. Nejspis nas ceka nejaka hybridni era, kde se ten pomer rasteru a NR bude vyvijet konkretnim smerem, ale podle me to bude docela na dlouho. Nebo si urci nejakou uroven raster vykonu, ktery povazujou za dostatecny a veskere dalsi generace budou jen drzet tu uroven pro stare hry a veskere volne tranzistory busit do akcelerace NR. Tezko rict, ale urcite nesplachnou podstatnou cast raster vykonu do zachodu jen tak v ramci jedne generace.

A nebo to taky pujde tim smerem, ze hry delane od zakladu pro neural rendering uz na zadnem konzumnim hardware proste nebudou fungovat, protoze to bud bude tak moc narocne, anebo proste uz HW ekvivalent RTX 5090 aka enthusiast consumer GPU v budoucnosti nebude existovat - pocitac bude mit minimum compute vykonu a bude to jen terminal do internetu, kde ti vsechno budou pocitat data centra megakorporaci, ktere si budou presne diktovat, jak moc to muzes pouzivat a kolik te to bude stat.

[zhor]

Cílem je aby jsi žádnej takovej HW neměl, jen simple zobrazovalo a vše jsi si pronajímal v cloudu.

Tak to uz se teda nemuzu dockat.
Kazdopadne jak rikal Vavra je dnes snad uz jasny ze v budoucnu bude hry delat hlavne AI, coz je na jednu stranu pozitivni protoze budou driv hotovy a mohly by taky bejt levnejsi, otazka je ovsem jestli ty hry budou taky zabavny kdyz v nich bude chybet duch vyvojare.

[Thellwin]

... a mohly by taky bejt levnejsi ...

Chtěl bych mít tvůj optimismus v tomto směru

[DOC_ZENITH]

NV zrovna je v pozici kdy by to mohli zkusit. Salámová metoda jak to zkoušeli u RT nezabrala, RT zůstalo pouze v pozici pozlátka na povrchu a akorát to bere dost tranzistorů takže si nikdy nemohli dovolit masově investovat do RT na úkor zbytku a časem je i v tom RT začala konkurence dotahovat, nevybudovali si s tim žádnou výhodu.

5090 jako taková (a vlastně celej Blackwell) je herně fail produkt. 256-bit mainstream defakto neni citelně rychlejší jak předchůdce a za mě první karta která měla dost tradičního výkonu pro 4K v klasickém renderu byla 4090, proto jsem jí taky tehdy koupil, první karta se kterou věci co jsem tehdy chtěl běhaly 4K120+. Velkej 512-bit Blackwell je rychlejší jak 4090 ale jen o tolik o co je větší/žravější, tzn pokrok v efektivitě 0. Kdyby jsi vzal 4090 dal jí plně aktivní jádro, fast GDDR7 (protože je dost memory bottlenecked) a 600W limit tak by ani velkej Blackwell nemusel existovat. Celá pointa Blacwellu jako architektury je že je lepší v AI a to ještě jen někde, třeba v tom FP4, ale v klasickej a nejrozšířenějších FP32, FP16 a BF16 neni rychlejší, proto i tam to neudělalo žádnou díru do světa a místo PRO 5000 číňani osazujou 4090tky více VRAM. Ten velkej je good že přinesl 512-bit sběrnici což s konecně o něco většími moduly (u GDDR byla stagnace od R 2018 kdy přišel Titan RTX 24GB a Quadro RTX8000 s 48GB a top Ada stále měla jen 48GB) konečně zvedlo kapacitu u profi karet z 48 na 96GB, jediná pořádná masivní výhoda. V datacentrech je ale good, tam NV udělal kompletní "paradigm shift" s tim jak jejich PCI-E switche nyní interně komunikujou jako GEN6, maj v sobě rovnou síťovky a karty přes ně komunikujou s kartami v jinym clusteru aniž by to vůbec muselo zavadit o systémové CPU.

To jakou cesou šel desktopovej zobrazovací Blackwell do budoucna neni udržitelné, k RT se nyní přidaly ještě další specializované AI formáty typu fast FP4 a efektivita v klasickém renderu a RT stojí, kdežto FP4 nic nepoužívá protože většina open-source AI věcí je buďto FP32/16 pro univerzálnost nebo BF16 pro ždímání klasickejch tensorů, ono FP4 z Blackwellu se prosazujen jen velmi pomalu. NV je ale evidentně použila zde na ten neural-rendering, jinak si tu rychlost ani nejde vysvětlit. Tak jako tak ty modely jsou pro běžná herní GPU příliš velké a nacpat to na něco jako 5080 bude hodně těžké, pokud vůlbec možné.

NV se prostě bude muset rozhodnout protože ta cesta kterou jde desktop Blackwell neni good. Serverovej compute-only s HBM rezignoval na vše krom AI a slaví úspěch, tam už ten zářez udělali. Teď se snažej protalčit neural-rendering skrze DLSS5 touhle hybridní metodou. Pokud si to najde úspěch, tak příští generaci přijdou s kartou co bude v tomhle ohledu třeba 4x lepší a v rastru/RT se nepohne. Najde si to zákazníky? Dost možná ano kor pokud AMD stále nebude konkurovat a Intel to zabalí. A pokud se hry proměněj v tohle tak pár generací poté přidjou karty zaměřené čistě na tohle.

Pokud maj funkční neural-rendering měli by ihmo předvést demo (první s ksichtem a tak předvedli už roky dozadu ale tentokrát něco fakt good). Klidně poháněný velkou GB100/B200, nebát se toho, vytasit s co největšim a nejlepšim modelem a u toho dema dovolit lidem měnit parametry/context, myslim si že kdyby to fungovalo a vypadalo to dobře, tak by se kolem toho vytvořil docela hype. Možná se ale i tak trochu bojej. Někdo tam může nahodit kontext z něčeho co je copyrighted nebo zasadit reálné postavy do nechtěnné situace a hned oheň na střeše, což je přesně to k čemu se to ihmo bude používat, tomu nikdo nezabrání. Proto nahazovat to na již existující hry a již existující copyright jen jako slop-filtr bude asi ten safe start co si zvolili.

Každopádně s vidinou tohodle to Vávrovo tvrzení ihmo sedí. Odklepnout teď ňákej projekt hry co bude stát desítky miliard, bude se dělat klasickou metodou ručně dělanejch high-end assetů ať užnasvětlenou rastr nebo RT, co bude trvat 5 let vývoje? To zní jako šílenství. Investoři se budou bát investovat protože co kdyby dorazil neural-renderign dříve než to vůbec doděláme, čeká nás totální slop-age cheap produktů kde nikdo nechtěl riskovat drahej vývoj a na to se buodu házet slop-filtry, tak to bohužel vidím já, později někdo přijde s full neural-render produktem a pokud na to bude potřebnej HW a kvalita bude dostatečná, tak se to stane novym standardem.

[iambenny]

Řekl bych, že v labech Nvidia musí být krásný věci, které vidíme tak z 10%. Problém ale je, že jsme zaseklý 4 roky na výrobě a další 2 roky se vůbec nikam neposuneme (opravdu si nemyslím, že příští rok uvidíme další generaci).

Imho DLSS5 nemělo být ani určený pro 50-series, ale aktuální shortage je nutí překopat celou roadmapu.

[zombux]

Cílem je aby jsi žádnej takovej HW neměl, jen simple zobrazovalo a vše jsi si pronajímal v cloudu.

bingo.

[mr.qeg]

Taky si myslím, že to s tím cloudem dopadne tak, jak píše DOC. A s tím, jak se teď utrhly ze řetězu RAMky, SSD a už začínají i HDD, tak možná za pár let budeme rádi, když si aspoň jako HW domů pořídíme ty repasované laptopy z korporátů, vyřazené po standardním 4letém obnovovacím cyklu.