NVIDIA DLSS - info a vše okolo

[marek16]

co je to za nonsens? Tak buď ten developer do hry DLSS5 implementoval (a pak o něm věděl), nebo dal kompletní zdrojáky, toolchain, assety, a vůbec celej projekt do ruky nvidii (což neudělal, protože to neudělá žádná firma; jednou jsem se snažil zařídit poskytnutí firemních zdrojáků jetbrains pro nějakej debug, byla z toho jebačka na tři měsíce, obě firmy do toho zamotaly právníky, a nakonec to zařízly).
Taky je možný, že to implementovala část devů, a neřekli to celé firmě (to je asi nejreálnější, protože NDA a proč by to říkali celé firmě?), Insider se zeptal jiných devů, a napsal článek úplně o hovně
No a poslední možnost je, že si to tam nahackovala nvidia přes existující implementaci DLSS4 a stačily jí vektory a data co už měli. Až na to, že takhle se to nedělá a nedělají se pak prezentace z her studia, který s ničím nesouhlasilo.

all in all, okurková sezóna a blábol článek.

[Krteq]

No, používá to standardní DLSS vstupy a jde to přes StreamLine, takže si to klidně mohla "omodovat" i sama NVIDIA.

Jen se domluvila s markeťákama/PR/vedení těch studií a voila. zas takovej nonsense to být nemusí. Ti devs na to nemuseli de-facto ani sáhnout

[skaven321]

DLSS5 z globalneho pohladu:
https://www.youtube.com/watch?v=FzF-bV9Sigc

[coyd]

Pár perel z Redditu

[skaven321]

Gamers Nexus...proste au
https://www.youtube.com/watch?v=H1a8YEOlpeY

[DOC_ZENITH]

No, používá to standardní DLSS vstupy a jde to přes StreamLine, takže si to klidně mohla "omodovat" i sama NVIDIA.

Jen se domluvila s markeťákama/PR/vedení těch studií a voila. zas takovej nonsense to být nemusí. Ti devs na to nemuseli de-facto ani sáhnout

Ano takhle přesně to zatím vypadá. Ke správnému umístění oné "generace" to používá stejná vektorová data jako DLSS, tzn na 90% to bylo tak že NV přišla a ňákej pohlavár či PR úředník jim to odklepnul, vývojáři o tom pravděpodobně vůbec nevěděli a artisti kor ne, z obou skupin stejně 90% už v té firmě nepracuje nebo jsou na jinym projektu. U vývoje nákladnejch her ve velkých studiích je zcela normální že když se projekt dokončí tak se většina lidí přesouvá jinam nebo se vyhodí. To co se zabejvá už vydanými kor singleplayer hrami je jen skeleton-crew co řeší nuté patche potažmo ňáká DLC, to nejsou ti co tu hru vytvořili.

Zajímavé také je že většina těch studií co se pod tohle tak rádo a tak rychle podepsala jsou právě ti vytvářeči AAA slopu kteří se poslední roky potýkaj s těžkou stagnací co se týče kvality, takže tam to i sedne, je zcela pochopitelné proč ti maj zájem. Kdyby neuro-rendering fungoval dokonale už žádné grafiky a rendering enginy nebudou muset řešit vůbec, což je jejich sen protože to v současné době vůbec nedávaj.

[ArgCZ]

Sice OT, ale to platí pro vše, i filmy, hudba atd, prostě vše... ono je toho na druhou stranu už tolik, že se těžko vymejšlí něco lepšího, dřív tomu taky napomáhal technickej rozvoj, kerej byl imho v rozmezí 1985 - 2015 největší a teď se vylepšuje horko těžko. A pokud vyrůstáš v takovým boomu, tak už seš zmlsanej a těžko něco pro tebe zvedá laťku

tady bych nesouhlasil, podívej se na Rytíře sedmi království, zcela opustili CGI a jak to parádně vypadá, tuhle dobu budeme muset přetrpět a ona přejde tak jako v kinematografii, klidně bych se dobu která nás opouští nebál nazvat dobou temna filmu a ta nás teď čeká holt v herním prostředí

[zombux]

jo, tohle taky dost sedí (JayzTwoCents)
https://www.youtube.com/watch?v=7ECGMxuSdSs

Deep Learning Slop Shit

[Krteq]

Daniel Owen se pokusil vytáhnout nějaké informace z Jacoba Freemana (NVIDIA)

Daniel Owen - Nvidia Answers my DLSS 5 Questions (YouTube)

Jako vstupy slouží jen:

• Hotový, vyrenderovaný 2D frame - Tj. jen obrázek
• color buffer
• motion vectory

O čem informace nemá:

• 3D geometrie modelů/scény
• hloubka/depth buffer
• vlastnosti materiálů/PBR
• světelné zdroje
• a vše ostatní

TL&DR:
Co teda DLSS 5 vlastně je? Je to jen šíleně náročný AI "ReShade" filtr, co si vymýšlí nasvětlení atd., nic víc.

Můžeme zahodit Rasterizaci/RT/PT/PBR a další technologie snažící se o co nejpřesnější možné přiblížení se realitě, DLSS 5 to prostě odhadne a zhalucinuje hrubou silou
Mezi artefakty, krom nasvícení, patří třeba eliminace mlhy, "sun shafts", "lens flares" a dalších efektů. AI filtr je prostě odstraní protože neví o tom, že tam mají být

Budu se opakovat.

Njn, kde jsou všichni ti RT/PT puristi? Ti by tu měli ječet ze všeho nejvíc

[DOC_ZENITH]

Ano je to v podstatě stejná věc jak tuna různejch AI filtrů kterejma můžeš prohnat fotku/obrázek/video, jen s tim že je to real-time a jsou tam ty vektrory co maj bejt berlička pro aspoň ňáké zachování konzistence v pohybu.

Puristi teď mlčej protože maj ideologické dilema. Roky totiž lízali NV řiť protože to byla ta firma co všem vnucovala do chřtánu RT a teď ta samá firma otáčí o 180 a přináší něco co totálně potírá samotnou podstatu RT či jakékoliv snahy o realistické nasvětlení scény protože AI si to nakonec stejně přemaluje po svym tak aby to dle natrénovaného modelu "vypadalo cool" ala něco na stylu TV v obchodě v demo režimu cool, od reality/dobrého obrazu na míle vzdálené ale to neva. Na první pohled to vypadá cool tak BFU budou chvíli tleskat.

Jak už jsem řekl, dělat něco takovédleho real-time při 4K60fps je naprosto masivní pokrok, kdyby to tak odprezentovali a začali prodávat jako službu fajn, ale srát to do her a ještě tim ruinovat solidní značku DLSS tim to fakt podělali.

Osobně si myslim (čistá spekulace toto) že možná gaming divize dostala nůž na krk typu "AI nám vydělává 100x tolik, vy nám žerete DIE a waffery, koukejte zapojit více AI do hry nebo vás seškrtáme" tak DLSS dostalo AI video gen ve stylu neural-renderingu přičemž oproti plnýmu neural-renderingu na pozadí stále běží a renderuje se normální hra

Edit: Btw na netu už se šířej informace a prohlášení že artisti tom vůbec nic nevěděli a totálně je obešli shora a o zakomponování téhle věci rozhodlo PR a vedení, ony "souhlasy" teamů s "art-direction" byly lež. Tzn můj odhad zde byl naprosto přesnej.

[Krteq]

Docela pobavilo, aka "DLSS 5 doesn't touch geometry". Tu třetí nosní dírku si tam AI prostě "domyslelo"

[DOC_ZENITH]

Ale ta věta "doesn't touch geometry" je správně, protože ono to na ní vůbec nebere ohledy a neví to ani co geometrie je. Nemá to žádnou představu o Z-buferu, co je jak kde hluboko ve scéně, co je před čim, nic. Bere to čistě 2D output + vektory a prohání ho to AI filtrem. Proto to taky má takový problémy s rychlejma věcma (a prezentace se soustředily na velice statické scény) typu když nakopnul ten balón a co to z něj udělalo. Jsem fakt zvědavej na tohle v akci, protože tu máme už v součtu tolik bluru, máme samotnej motion-blur kterej ne vždy jde komplet vypnout, pak máme TAA a problémy s nim, kde cokoliv co je v pohybu je už z principu více blurry a některé objekty (někdo švihne mečem třeba) můžou na moment totálně zmizet, jiné maj naopak ghosting, k tomu můžeme mít RT a jeho denoiser kterej má latenci (třeba v controlu maj odrazy na podlaze cca půlsekundovou latenci od toho co se děje), v jinejch hrách je zase hroznej boiling pokud je scéna tmavá a povrchy nemaj dost paprsků co na ně dopadaj aby to denoiser dobře zvládal, nad tim teď ještě bude tehle slop-filtr a to vše zobrazujeme na "sample and hold" typu displaye kterej sám o sobě dělá blur. Ala systémy co se nám nahromadily pro skvělé screenshoty a mizerné reálné hraní a vizuál v pohybu.

[Krteq]

Já neříkám že to tvrzení je špatně, na geometrii scény to ani sahat nemůže (viz. můj předchozí post)... jen si ji to AI dohalucinuje. To bylo to, proč jsem na to tvrzení narážel

Co to udělá s non-static scénama už jsme taky měli možnost vidět...