Homemade NVME NAS 10GB/s

[oneb1t]

Požadavky
• 10Gb/s Ethernet (SFP+)
• Plně pasivní chod
• Dostatek NVMe slotů (5–6)
• Co nejnižší idle spotřeba
• Dostatečný výkon pro Immich
• Rozšiřitelnost
• Rozpočet: cca 5 000 Kč bez úložiště
• Alespoň PCI-E 3.0 (možná 4.0 výměnou desky - horší idle)
________________________________________

Hardware (většina z Aukra / Allegra, ceny orientační)
• CPU: AMD 3200G → později výměna za Ryzen 5 5500 (limit max. 2,2 GHz, undervolt, ~100 mW) – 1 000 Kč aukro
• MB: Asrock B450M Pro4-F (BIOS P10.41) – 1 000 Kč aukro
• RAM: 2×8 GB Micron 2133 MHz (CL40@1866 MHz) – 500 Kč aukro
• Chladič: AMD Wraith Max (bez ventilátoru, pouze pasiv) – 200 Kč šuplík
• Zdroj: PicoPSU 90 W – 400 Kč aliexpress
• Napájení: 12 V / 6 A adaptér – 250 Kč aliexpress
• Case: neznámý (pravděpodobně Gembird) – 250 Kč aukro
• Mechanika: LG DVD (pro ripování CD/DVD) – 100 Kč aukro
• Síťová karta: HPE 10/40 GbE (Mellanox ConnectX-3 Pro, QSFP) osazena v PCIe 2.0 ×4 (dostačuje pro 10Gb/s provoz) – 600 Kč aukro
• QSFP → SFP+ redukce: Finisar QSFP-40G-SR4 (funguje jako 40 GbE → 10 GbE propojka) – 250 Kč allegro
• PCIe splitter: Glotrends PA41 (×16 → 4×4×4×4), s R5 5500 funguje max. jako 8×4×4× – 500 Kč odkarla

• Úložiště:
o 2× 4 TB Kingston NV3 NVMe (RAID 1) – 5 000 Kč/ks (nové)
o 1× 64 GB SATA Hoodisk – 200 Kč (boot disk)


Celkem:
• Server: ~4 750 Kč
• Disky: ~10 000 Kč
________________________________________

Konektivita
• Max. 4 PCIe 3.0 sloty (1× nativně na desce + 3× na splitteru; s jiným CPU teoreticky až 4×4x4×4 bifurkací ale 5500 umožnuje jen 8x4x4)
• 1× PCIe 2.0 ×4
• 1× PCIe 2.0 ×1
• 1× gigabit Ethernet (Realtek RTL8169)
• 2× QSFP+ 40 GbE (aktuálně použito jako 1× 10Gb/s linka)
• 4× SATA 6G

________________________________________

Spotřeba a úsporná nastavení
• ASPM: L0s & L1 - https://z8.re/blog/aspm
• CPU: turbo off, undervolt, snížená frekvence 2.2GHz
• RAM: undervolt, snížená frekvence 1866Mhz
• Síť: Energy Efficient Ethernet zapnutý
• Linux: amd-pstate-epp, governor „powersave“

Naměřeno:
• Idle: ~17 W
• Load: ~35 W
• Teplota CPU: <65 °C
________________________________________

Software
• TrueNAS Scale 25.04.2.3
• Tailscale (VPN)
• Immich
• MiniDLNA
• Automatic Ripping Machine (zatím moc nefunguje)
• netboot.xyz
• SMB share




Server v chodu:

Spotřeba:

Provozní teploty:

Montáž na zdi:

[DOC_ZENITH]

Ta síťovka se ti tam neuvaří? ConnectX-3 nebyly zrovna studený.

[oneb1t]

Běží jen v režimu 1x10 GB/s, takže reálně nemá takový odběr. Pro plný výkon 2×40 GB/s by to asi chtělo větráček, ale takhle to zvládá pasivně (dá se na ni sáhnout).

[DOC_ZENITH]

Já jsem měl X3ku s jen dvěma 10tkama, zapojenou jednu a žhavila nehorázně měla tak 85-90 a to nebyla extra zadušená, radši jsem jí vyměnil za Intel X710 ta moc netopí. Hodně málo taky topěj ty nový Marwell Aquantie, jsou i cheap, ale pokud člověku stačí jeden 10Gbit port tak jsou ok, zatim mi byly vždy stable.

Další jeden dotaz, proč raidovat ty chudinky konzumní M2ky? V raidu na AMD typicky nejde TRIM a časem se pravděpodobnězačnou rozpadat/degradovat, proč ne radši ňákou U2ku z Ebaye? Mnohem lepší poměr cena/kapacita a i spolehlivost.

[oneb1t]

X710 + kabel stojí minimálně 1600 Kč, zatímco Mellanox X3-Pro + kabel je za 750 Kč. Nevadí mi, když ta karta běží na 90 °C – podle datasheetu je shutdown až na 115 °C.
Navíc u mě se to tak neprojevuje – i v zátěži se na kartu dá sáhnout (sensors kartu nedetekuje, takže jsem v klidu ).

U.2 jsem zvažoval, ale v době montáže jsem nenašel dostatečně dobrý deal (i když teď zrovna jeden na Aukru je – 4 TB WD Gold za 3500 Kč). K tomu ale redukce na U.2 zase zvyšuje cenu. Další věc je znovupoužití těchto disků třeba v notebooku nebo externích rámečcích – to je s NVMe 2280 disky daleko jednodušší než s U.2.
U.2 disky mají navíc typicky vyšší spotřebu a Kingstony mají 5 let záruky, takže se o to nijak zvlášť nebojím (+ offsite backup).


Trim funguje je to ZFS SW RAID v rámci truenasu

[Jey]

Jak rychle jede ta VPNka? Přestalo mě bavit 5-10MB/s OpenVPN, a 10-20MB/s Wireguard, ale to bude asi těma Windows. A "síťový most" dvou rozhraní.. ale zdánlivě vše jede ok.

Ramky se mi tu válí nějaké Crucial 4x4GB 2400MHz, kdybys měl zájem, opíšu ti údaje. Zdroj, nevím jestli by to utáhnul, ale na ebay se válí hodně moc nevyužitých 4700G ze serverů, nebo trefit na (drahé) 5700G, tam je TDP obojí 65W, což bude asi i tak moc, ale třeba je under- modneš. Nechci si tu vymýšlet, ta skříň je asi micro, ale pokud by se vlezl, umístil bych tam nějaký lepší zdroj, při malém vytížení nepojede ani větráček.

Jinak pěkná práce.

[oneb1t]

To zaleží na tom jestli je potřeba relay server. Když není potřeba Relay server tak i skoro plnou 1/1GB/s rychlosti mé přípojky. Tailscale je interně wireguard akorát to není tak otravné na nastavení .

Rychlej test ale běží po tom další služby takže né uplně ideální podmínky:
S VPN:

BEZ VPN:


Tu VPNKu používám pro 2 věci
1) vystavení immichu na veřejné ip (nejlevnější VPS u forpsi + reverse proxy) - tohle zvláda skoro 1GB/s a limitací je hlavně CPU v té VPSce
2) přístup na sambu odevšad (ubuntu, win 11, android) - tohle většinou potřebuje relay server takže reálně 20-30Mbit/s

Co se týka levného AM4/DDR4 vybavení tak proč ne ale rád bych upozornil že mě ryzen 5 5500 stojí 1100Kč novej Ohledně RAMKY jsem koukal spíš na ECC registered 16GB moduly, ale asi je nepotřebuju a taky jsem pokukoval po HP EliteDesk 705 G4 co stojí pár drobnejch, ale nakonec jsem si řekl že je to až moc limitované a nemohlo by to běžet pasivně

Další zvažované platformy pro tenhle experiment:
AM5 - drahé i nejlevnější 8400F je za cca 1900Kč a desky jsou +500-700Kč a nepřináší žádný zásadní benefit (PCI-E 4.0/5.0 jen zvyšuje spotřebu, ale reálně není potřeba) navíc zatím málo bazarových super-dealů
LGA1700 -> drahé desky co neumí bifurkaci na Bčkových chipsetech
FriendlyElec CM3588 - slabé a nemá 10GB/s ale zajimavé + problémy s non-x86 platformou
N100 -> nedostatek PCI-E portů
čínské desky -> většinou nefungujou PCI-E sloty plnou rychlostí jediná zajímavější mě přišla tahle, ale je mimo budget

[oneb1t]

Dneska NAS doplněn o 10TB disk pro zálohování NVME pole. Je to overkill, ale dostal jsem ho darem A taky jsem dokoupil chladiče na NVME disky

Takže nastavená denní záloha v 1 ráno + spin-down po zbytek dne. Nastavil jsem automatickej S.M.A.R.T check a poslání mailu v případě nějákého defektu.

[oneb1t]

10Gb/s síť zprovozněna. což umožnuje 1,6-2Gb/s kopčení po wifi

na straně NASu: Mellanox ConnectX-3 Pro, QSFP
propojka: Finisar QSFP-40G-SR4
na straně routeru: Z8803BE AX Wifi 7 router (120$) - https://www.alibaba.com/product-detail/ ... 45846.html
klient: Intel BE200 (500kč)

OpenWrt na routeru je ještě hodně v plenkách a je to spíš pro hračičky. Věřím ale že jak příjdou další updaty tak to ještě zlepší výkon.

funkční MLD (5Ghz + 6Ghz síť dohromady)