NVIDIA Blackwell - Info a spekulace

[Trek]

Na 5090 bude omezená dostupnost ještě několik měsíců po vydání, protože to budou kupovat menší firmy na Ai a různorodou výpočetní práci, kde jim to každý den vydělá prachy, takže už je jedno, jestli to stojí 50 nebo 70k

Nějaký to AI jsem taky už dělal a dle parametrů se domnívám, že 5090 nemůže jít pod 80k. Pokud by stála jen 50k tak za 2 kusy je to 64GB VRAM za 100k, to nemůže, to by bylo moc levné.

[DOC_ZENITH]

Něco jako 2 kusy neexistuje, u Geforce nejde karty propojovat přes NVLink a sčítat VRAM. Poslední 512-bit GPU Nvidie stálo ve své době 650 dolarů, a bylo nálepkováno jako předražené a cena záhy dost padla. Takže tak. I za cenu 4090 to bude předražené protože 4090 byla předražená, byla výrobně levnější jak 3090. Všechno je natažený naprosto extrémě a ty to ještě obhajuješ, jak jsem psal na minulý stránce čekal jsem že se někdo najde kdo to přijde obhajovat a už jsi tu.

Samo sebou že 5090 bude v praxi stát více, tipuji to na 2000 dolarů. Jde o to kolik bude stát 5080 a zbytek. Ještě v r 2020 ti NV nabídla 320-bit okuchaný high-end GPU za 700 doláčů, pak ale přišlo crypto a po něm AI a už nejsi žádnej zákazník, už si konkuruješ o waffery s datacentrama. NV si našla lepší dojnou krávu. Dnes ti prodává 256-bit mainstream za 1000 doláčů. Co to bude příště, 1200 doláčů? 4000 řada měla jeden zásadní problém a to nebyla cena 4090 ale to že všechny mainstream a low-end karty měly cca stejnej poměr cena/výkon jak ona 4090, ala o kolik to bylo levnější o tolik to bylo pomalejší. Tohle fakt neni standard aby halo produkt/snob-end měl stejnej poměr cena/výkon jak mainstream, a u 4090 to tak dlouho bylo, proto o ní taky bal takovej zájem. Nezapomínejme na 4080 12GB co se NV snažila vydat pod timhle jménem aby omluvila cenu a přitom to bylo malé 192-bit 12GB GPU, nástupce 1060tky. Nakonec toi vydali jako 4070TI ale mělo se to jmenovat 4060 a stát polovic i oproti 4070TI. Tak pojď a obhajuj tenhle humus.

Já to vidim na skip, už jen z principu. Zdvojnásobili ceny tak upgraduju obgeneraci. To je mé osobní rozhodnutí. Profesní? No, tam s tim nic neudělám a 5090tek se do práce bude kupovat tuna, skoro všem co maj teď 4090 a ty se zas posunou k jinejm co třeba doteď živořej na 1080TI. A ano budu mít zas tunu sestav co jsou 10+ let staré a je v nich 4090 ano je to trága ale nic s tim neudělám.

[Trek]

Samozrejme ze jde scitat VRAM, protoze ruznej softwarwe/algoritmy lze rozdelit na jednotlive karty. Nebo si myslis ze LLM se trenuje na jedny karte s terabyty VRAM?
Jak sam pises do prace se bude kupovat 5090 tuna, protoze neni rozdil herni karta/na praci karta. 80k a vys bych to videl. Na hrani je to ale pak waste pokud to clovek nevyuzije.
Ja uz se snazim utilizovat 4090, nejaka aspon ollama, 5090 by se hodila ale pokud bude stat 100k tak budu hodne premyslet, jestli radsi Mac Studio misto toho.

[DOC_ZENITH]

Ano trénuje. Ne vše jde rozdělit. Čim více máš paměti tim větší datasety/detailnější assety můžeš nasadit. Proto Quadra tuhle možnost maji a proto když si kupuješ GPU cluster od NV dostaneš celej rack plnej Hopperů kde je to vše propojený NVlinkem a na jednom bladu můžeš mít přes NVlink sdílenou VRAM mezi všema GPU, dokonce tam můžeš přidat i LPDDR5X z Grace CPU pokud jej tam máš. Proto taky NV vydala refresh Hoppera kterej se lišil jen tim že nesl více VRAM. VRAM je naprosto zásadní pro velké modely, je to taky primární důvod přirážky za high-end quadra, že jdou spojit do jednoho cuda memory poolu.

Kdyby vše šlo rozdějit a trénovat na 4090, či i menší, proč by někdo kupovat ty mostra za miliony? Jejich výkon/watt a cena/výkon je ve srovnání tristní, ale jsou tam ty velký memory pooly.

4090 se u mě doma zapotila když jsem na ní trénoval lora a hypernetworky pro stable diffusion and taky ňáký audio pro Okadu, input data je ideální downscalovat do 512x512 a pod, naprostej low-res, na každym kroku se šetří pamětí jak jen to jde a tohle neni žádnej masivní LLM.

[alienGT]

A ted prosim cesky pane doktore

[Trek]

alienGT si myslim, ze lidi co pouzivaji grafiky ala 4090 a stoprocentne 5090 s32gb pameti by si meli udelat zakladni AI learning (deep learning), nejakej ten python, LangChain, proste si pohrat s tema vecma, protoze jen na hrani to je hrozny plytvani, urcite by se takova karta mela utilizovat, treba ten Nvidia Chatbot so ma RAG.
S takovym hardware je potreba provozovat veci na svym kompu, ani neni treba si platit Copilot nebo GPT, dost veci to zvladne.

Kazdopadne je zajimavy jak sice karty nemaji memory pooling ale kazdej je kupuje na pracovni vyuziti jak blazen (protoze ten pooling se proste za cenu obrovskych uspor nejak obejde). Je to na prd, protoze jsem nekde cetl, ze Nvidia vyrobi jen omezenej pocet tech karet, aby si odskrtli "gaming" ale bude obrovska poptavka pro ne-herni pouziti. Tam bude scalping jak blazen a vysroubovany ceny (jestli bude cena nad 100k tak asi pujdu do MacStudio a seru na to).

[havli]

A k čemu běžnému smrtelníkovi to AI vlastně je? Já jsem si zkusil na grafice vyrenderovat pár přiblblých obrázků a za půl hodiny jsem usoudil, že to pro mě nemá žádný přínos a všechno jsem zase smazal.

[Trek]

Moznosti a uziti zavisi prave na mnozstvi VRAM kde 32gb prijde vhod zatimco na hrani naprostej overkill a plytvani, pokud nekdo proste chce za kazdou cenu 5090 na hrani je nutne kartu vyuzivat i na dalsi ukoly, napr. pouzit Nvidia Chatbota, kterej jelikoz indexuje dokumenty tak je schopny vest chat ohledne dokumentu a souvoru co jsou v kompu.
Podle velikosti modelu se odviji moznosti, s 32gb vram je mozna sumarizace textu, docela luxusni preklad, generovani textu (odpovedi na emaily jednim cudlikem).

Napr. uz s 4090 mam moznost delat souhrn z emailu, generovat odpovedi na emaily v cestine i anglictine, automatovat ruznou nudnou agendu. Obcas dojde pamet, takze 32gb prijde vhod.

Jinak bych upozornil ze emaily a dokumenty casto obsahuji citliva data, takze je absolutne nepripustne pouzivat verejne sluzby jako copilot nebo GPT. To si musi clovek provozovat sam. S 5090 pujde bez problemu a k tomu karta prijemne zatopi.

[havli]

Aha, dobrý - takže to mě celkem utvrdilo v tom, že AI vážně nepotřebuju. Emaily umím psát i číst sám. Soubory taky vím, kde ukládám a co v nich je. Na překlad textu z jiných než EN/CZ jazyků mi stačí google translator. Asi jsem holt stará škola.

[killerek]

havli: Take mi to prijde jen jako pouziti buzzwordu, protoze je to modni. Na domacim PC je mi to k nicemu, na pracovnim notebooku v domene tezko pouzitelne a nasazeni na nejaky server v praci zbytecne drahe pro nas. AI by si si spise zaslouzilo vlastni vlakno nez bych se tu k tomu tady rozepisoval vice nez to nekdo presune do smetiste.

[Trek]

Každý výrobce nyní vyrábí AI PC, a ty s 5090 jsou ještě více atraktivní. Například MSI láká na MEG Vision AI s 5090 a na Alza mají sekci věnovanou MSI AI.

Pro domácí použití budou tyto karty ideální, pokud bude dostatek paměti.

Překvapuje mě, že se vůbec zapojujete do této diskuze s tak omezeným rozhledem. Pokud vám stačí papír a tužka, možná byste měli zvážit, zda je toto téma pro vás relevantní.

[Mafian277198]

Pokud bude RTX 5090 do 70 k CZK, tak si ji koupim a budu ji mít jen na hraní... to, že to bude overkill, nesouhlasim, páč je slábá i moje stávající 4090. Ne každej hraje jen v FHD bez AA atd., Treku.

[DOC_ZENITH]

Alien - AI neni můj obor, já si s tim jen občas hraju doma. Mít vlastního nemonitorovanýho a necenzurovanýho bota je docela cool. Já dělám v obodu fimovejch VFX kde je AI bráno spíš jalko nepřítel heh, ale jako u všeho, jak pro koho že, takovej texturář se logicky děsí, člověk co modeluje v Maye zatim ne. 4090 se u nás používaj hlavně na projekty v Unrealu a nejvíc bojujeme s nedostatkem VRAM. To že se nepohnula už od Turingu z 24GB byl pro mnohé dost boj a pokud 5090 skutečně přinese full 512-bit 32GB a ne těch 448-bit 28GB jak se spekulovalo dříve tak se jich bude kupovat hned tuna, lidi nad ní budou slintat i kdyby herní výkon šel nahoru jen málo, protože už 4090 měla docela pěknej výkon. Narozdíl od 3090 předchůldce nepálila 150W jen na neefektivních 1st gen GDDR6X VRAM, a konečně to byla karta co rozhejbala věci ve 4K, to se o 3090 říci ještě nedalo, ne ve vysokejch frameratech, ale kde 3090 paběrkovoala kolem 60-70 mi 4090 dává většinou 120+ což je nádhera. Samo sebou jsou věci na který máme Quadra A6000 když je prostě potřebatuna VRAM, hlavně partikláři je maj, ale těch máme tak 8x méně jak 4090, a většina lidí má hádejco, 4060TI 16GB, protože ta je ideální replacement pro staré Pascally. Features a VRAM jsou důležitější jak hrubej výkon.

K těm pojmům co jsem použil předtim. Stable diffusion je engine pro generování obrázků, výhoda je že běží komplet u tebe, dovede fungovat i komplet bez netu a cpeš si do něj modely co si sím seženeš či vytvoříš, tzn neni nijak monitorovanej, cenzurovanej, atd. Co mu dáš s tim bude pracovat. Dnes je SD spíš na ústupou protože jeho vývojáři se tak trochu zbláznili, ale jsou tu jiné projekty co jej nahrazují. Hypernetwork je tebou vytrénovanej model na tvejch obrázkách, kterej můžeš při generování "mixnout" s hlavnim modelem a ovlivnit tim styl/výsledek toho co to vytvoří. Lora je podobná věc jen méně invazivní a můžeš jich použít více najednou. Typicky se to používá pokud tvůj model dělá styl co se ti líbí ale třeba nezná konkrétní postavu kterou se snažíš vytvořit, tam Lora pomůže, pokud je vytrénovaná na oné postavě. Trénink jednoho hypernetu z cca 60ti 512x512 obrázků trval na 4090 cca 16 hodin pro představu. Ty můžeš měnit efektivitu a agresivitu onoho trénování ale čím více to osolíš tím větší je šance že se to podělá a začne to generovat humus/kraviny. Je lepší nastavit velice drobnej progress. Okada je engine pro deepfake hlasy, i real-time, velice good, neni to joke jak podobné projekty z minulosti. Zde si rovněž můžeš trénovat vlastní modely, je to celkem light na GPU ale heavy na CPU. Tam jsem musel celou věc hodit na starého Xeona vedle protože můj Ryzen s 96GB RAM neměl dost RAM pro moje samply heh, a v real-time modu je Xeon 2696v3 vedle tak tak fast aby to jelo. I jen vypnutí HT znamená že musim zvýšit buffer na 192ms. Ryzen 8700G to bohužel nedává což jsem tak trochu doufal že bude. 7800X3D to dává o cca 10% lépe jak 2696v3 tomu to sedne více po CPU stránce. Obecně, 7800X3D ve všech těhlech věcech je tak tak fast aby krmil tu 4090, a 2693v3 je taktak fast aby živil A4000(což je defakto podtaktovaná 3070 s 16GB VRAM) . CPU se nesmí podceňovat a single-thread je důležitější než MT, ač to škáluje na dost threadů, výkon na thread je dost zásadní.

AMD v GPU neexistuje protože nefunguje. Bez cudy se nikam nepohneš. To co jsem jmenoval výšě tam vůbec nefunguje. Ač na SD existujou návody a buildy pro AMD, v praxi nefungujou protože při nové instalaci se vše opírá o repozitáře které lidi často upgradujou, nedržej staré verze a při oněch updatech se neřeší jestli to funguje nebo nefunguje na AMD. Tzn máš instalaci či postup co jednou kdysi fungoval na Radeonu ale dnes jej už nejde reprodukovat (dnes znamená třeba o tejden později). Kdysi jsem tu měl ty dva kusy MI25 16GB flashnutý na Vegu frotnier a SD mi tam běžel jednou na jednom test stroji. Druhej den když jsem se to pokoušel nasadit jinde už jsem to nenainstalovat protože někdo něco někde upgradnul a puff. Starší knihovny označil za deprecated a smazal a už se nedaly nikde sehnat. Tohle je masivní problém u AMD a těhlech domácích AI projektů. Většinou neni support a když už je tak nevíš jestli bude ještě zejtra. Další problém je že OpenCL či ROCM absolutně kašle na zpětnou kompatibilitu, tzn pokud tvé GPU nezná onu instrukci, nedojde k interní konverzi na FP32 prostě to crashne.

U NV total jiná story. Když vyndam 4090 a dam tam staré Quadro P6000 (defakto 1080TI s 24GB VRAM) tak vše stále funguje. Jasně, to co je dělaný pro BF16 a tenstory a 4090 to počítala 5 sekund to bude chroustat třeba minutu, ale projde to a výsledek je jakej má bejt.

Tzn Integrovaný GPU v Ryzenu 8700G třeba neni slow protože nemá hrubej výkon, ale useless protože prostě ani nemá support to vůbec vykonat. Dokonce i občas avizované věci se nestanou realitou. Když rok dozadu přicházel Phoenix a byl kolem něj hype, tak Topaz porohlásil jak implementujou pdoporu Radeon 780M. Realita? Zkuste si dnes provozovat topaze na stroji s 780M. Veškerej good-will kterej AMD mělo aspoň v open komunitě vzal za své když se vykašlali na OpenCL. To samé ty AI akcelerátory. První byl právě Phoenix. Jak dlouho je na trhu a kolik SW to používá? Aha nic. Ono to totiž neni jen o počtu tops, ale každej akcelerátor má vlastní drivery a API a nejsou si navzájem kompatibilní. Tzn máme tu něco od AMD, něco od Intelu, něco od Qualcomu a nikde nefunguje nic, ani ten pitomej copilot, co tlačil "windows AI PC" to nepoužívá, LOL. AI tasky potřebujou decentní výkon a paměť, kde to seberu v ňákym osekanym akcelerátoru? Pokud má někdo šanci to rozject tak je to Apple protože maj vlastní ekosystéma decentně velký sdílený memory pooly. Hned po nich je NV která ani nemá vlastní CPU, platformu. Ano, je větší šance že NV přijde s vlastnim ARM CPU/APU a rozjede se to tam než že cokoliv co je teď na trhu bude mít jakoukoliv použitelnost do budoucna. Pro tohle všechno má NV defakto monopol v téhle oblasti. Ano existujou alternativní řešení, ale obvyklej maj nulovej support tzn v praxi je nejde nasadit.

To samé i svět mimo AI. OK můžu si najít test jak si vede třeba 7900XTX vs 4080 v Belnderu, v Mayě, atd. V praxi ale Radeon nasadit nemůžu protože v praxi defakto nikdo nepoužívá čistej Blender, čistou Mayu, čistýho Nuka. Je tam v průměru tak 12-15 obskurních občas leta nevyvíjenejch pluginů kde většina je cuda only. A ty co nejsou cuda jsou typicky CPU only, ne ROCM, ne OpenCL.

Pro tohle všechno se 5090 bude prodávat jako hrušky, a je fuk jestli bude stát 1500 doláčů, 2000, 3000. To ovlivní jestli si jí koupim já domu. Ale do firmy jich stejně budeme brát tunu. Alternativa neni, jediná alternativa jsou second hand Quadra a hádejte co, ty taky nejsou cheap a jejich cena letí nahoru s tadá... množstvim VRAM. Jakmile to dojde tak daleko že na ně firma nebude mít (už teď nemá na to aby každej kdo má 4090 měl ADA6000 třeba) tak to balí, ne že by se přešlo na ňákou levnější alternativu, protože alternativa neni. Proto Čínani co se nedostanou ke Quadrům harvestujou DIE z 4090 a letujou si je na vlastní PCB s 48GB VRAM a celej tenhle proces je pro ně rentabilní.

[Dusan]

[alienGT]

Pokud bude RTX 5090 do 70 k CZK, tak si ji koupim a budu ji mít jen na hraní... to, že to bude overkill, nesouhlasim, páč je slábá i moje stávající 4090. Ne každej hraje jen v FHD bez AA atd., Treku.

Odsouhlaseno, podepsano krvi, Amen bratre.
On klucina asi nehral takovy CP2077 ve 4K. Kdyz chces nakrmit 120Hz OLEDku...
Ja treba RT nepouzivam zatim nikde, pac vykon chybi. Co pak teprve path tracing, to nezvladne asi ani 5090.

[Mr.Nigga]

AMD v GPU neexistuje protože nefunguje. Bez cudy se nikam nepohneš. To co jsem jmenoval výšě tam vůbec nefunguje.

DOCu, vidíš i do toho jak AMD funguje ve sféře věcí jako AMD Instinct za miliony? Tam si firmy píšou vlastní algoritmy a nekompatibilita AMD nevadí? Nebo je to stejnej ojeb?

[DOC_ZENITH]

Nevidim, ale můj tip je že je to stejný jako s Intelem nebo s in-house akcelerátory co si dělá třeba Amazon nebo Google. Ala dodaj už kompletní řešení s OS a API dělanym na ono použití. Neni to něco na co si doma napíšeš SW a prostě ho tam spustíš. Tam posíláš konkrétní výpočty a ono je to provádí. Nenajdeš pro to kód na githubu nebo spustitelnou přednastavenou docker instanci, kde si trochu upravíš konfiguraci a dodáš vlastní data ala to jak používá "AI" většina firem co nejsou megakorporace.

[TankGeorge]

Dík za čtení na noční v práci. Těším se na dlouhé xichty, až lidi v 'obchodech' zjistí, že za 5090 fakt chtějí sto tisíc a odpadní střep 5080 bude začínat tam, kde začínala 4090. Navíc kombinované s tím, že bez frame generation a upscalu to nedá ve 4k path tracing ani na těch 60FPS =)

[satik]

Já jsem optimista, 5090 bude podle mě mít MSRP 80k za základní modely

[jctrnacty]

Ja jen doufam, ze to vsichni fandove kozenaka budou kupovat jako zbesili, aby jim to pristi generaci zase zdrazil o 50 procent.