Linux (Mint) server - domácí download centrum - soubory (http/https) + torrenty (magnet, .torrent)

[Jey]

Zdravím, snažím se vyrobit ze serveru (NAS), postaveném na Linux Mint i download centrum, kam by se předávaly požadavky na stahování z lokálních stanic v síti LAN (clienti).

Požadavky jsou následující:
Integrace v prohlížeči pomocí pluginu pro Firefox/Chrome (používám jen Firefox) = předávání linků serveru
Integrace správy přes webové rozhraní, tedy možnost se připojit na http/s serveru, ovládat, sledovat stahování.
- automaticky vypadává Free Download Manager, který nemá webové rozhraní

Zkoušel jsem: uTorrent Server 3.3, ten funguje poměrně dobře, má server i klient části
Nevím jaký je rozdíl mezi Transmission a Transmission NT, ani zda má webové rozhraní.
Kdysi mi někdo doporučil pro http/https stahování klient pyLoad pro normální downloady.

Prakticky hledám jen tu http/https část, protože uTorrent Server funguje dobře, ale pokud máte jiné řešení, uvítám doporučení, co zkusit nainstalovat, jo budu to nejdřív testovat.
Za přímo vaše, nebo někde jinde použitá řešení a návrhy na řešení.. Děkuji

// teď to řeším lokálně, stáhnu na klientskou stanici, pak to přesouvám po 5Gbit LAN síti, což sice není úplně pomalé, ale zapisuje to na NVME disk s omezenými terabytewrites

[mr.qeg]

Když máš přesné představy, proč si to nezkusit vyvibecodovat?

[Jey]

Musel jsem se podívat, co to vůbec znamená a pořád jsem na vážkách. No, myslel jsem jestli má někdo nějaké osvědčené řešení, které někdo jiný někde třeba (ne)používá, tak že bych se podle toho zařídil. Ne to celé kódovat od začátku. Ty programy určitě dávno existují. První testuju na VM (virtual machine), až pak to jde do ostrého provozu na server. Kdysi v pravěku mi snad někdo doporučoval Transmission + pyLoad, já preferuju ten utserver + uvažuju pyLoad. S AI se moc nekamárádím kromě jednoduchých dotazů prostřednictvím okénka google.

Musí to mít správu přes webové rozhraní, abych to mohl kontrolovat v domácí síti a musí to umět předávání linků v síti LAN, pomocí pluginu pro Firefox.

[mr.qeg]

Něco z browseru někam posílat či přistupovat na nějaké porty. To šlo naposled tak z IE přes ActiveX nebo těch starých Firefox xul doplňků. To jen taková poznámka.

Nemůžeš si prostě nastavit nějaký třeba samba share, kam ten torrent uložíš a odkud si to vezme ten server na zpracování?

[Jey]

Určitě to můžu, ale primárně jsem chtěl vytvořit download server, (který mám zapnutý 24/7) nezávislý na clientu, kterým je často PC stanice, která se uspává/vypíná. Přesně jak popisuješ, tak to funguje. Utserver má otevřený port, v pluginu Firefoxu je zadaná IP adresa serveru, port, uživatel, heslo. A linky se předávají.

U stahování klientem (PC) přímo na server (SMB přes LAN) jsem se bál fragmentace cílového disku. Stejně jako mě nebaví, naopak, kopírovat po síti. Downloady jedou poměrně hodně rychle. Ale třeba torrent jde někdy pomalu a vyžaduje zapnutý stroj třeba 2-3 dny a noci.

Když pominu ten utserver/torrent a nechám ho být (funguje), tak mi zbývá jen něco na downloady. Nezbyde mi než si naklonovat VM a prostě zkoušet + plugin Firefoxu hledat/najít na client PC. Myslel jsem, že třeba někdo poradí, kdo něco podobného už používá.

[mr.qeg]

Podle Google mi připadá, že něco podobného, co hledáš by mohlo být toto https://github.com/pyload/pyload

[Jey]

Jo, vždyť o tom jsem tu psal ve 3 příspěvcích. Nezbyde mi než vyzkoušet. Nic jiného "v ruce" stejně nemám. Naklonuju VM a nahodím to tam. Snad bude i plugin pro Firefox.

[Jey]

Kód: Vybrat vše

Google: "What program use to establish linux server for serving download links from client machine with firefox and firefox plugin?"

Aria2 + AriaNg

Poznamenávám si zde jako druhou možnost k pyLoad. První naklonuju VM linux stroj. A pak tam oboje vyzkouším.

[Jey]

Akorát docela nedávno mě napadlo, že asi bude s těmi downloady stejně problém. Spousta web stránek má vyřešený odkaz pro stáhnutí pomocí tlačítka "submit" webového formuláře <form>, právě proto aby zabránila použití download manageru. Musel by to umět přímo ten plugin prohlížeče, jako to třeba umí FDM (Free Download Manager, ten ale nemá síťové možnosti). Většina těch pluginů pro prohlížeč (Firefox) se používá přes kliknutí pravým tlačítkem na odkaz, a kliknutí v context menu. Což tedy u tlačítka formuláře pochopitelně nejde. Chystám se tomu(to) testování věnovat více přes zimu, tak snad uvidíme.

[DOC_ZENITH]

Další problém budou loginy a tak, co když onen dowload bude k dispozici jen v ňáký session nebo s lokálníma cookies? Nebo ňáká šílenost typu megaupload která si věci cachuje a decryptuje v browseru? To asi taky těžko stahneš přeposláním odkazu někam vedle. Přijde mi že to bude fungovat jen na simple FTPčka a na polovině webů budeš neustrále řešit problémy nebo to nepůjde vůbec. :/

[Jey]

Jo, něco takového mě napadlo. Ještě ty loginy, tam je třeba download link, který se jen zkopíruje a má nějakou expiraci, ten jde zkopírovat a vložit, tedy právě tam kde potřebuju. Jinak jak kde. Ale ty sessions určitě z pc na server nepřetáhnu. A nějaké šílenosti radši moc nepoužívám. Ale pochopitelně chápu, dost často / skoro všude si už svoje linky nebo tlačítka a funkci downloadu chrání.

Původně jsem to tak uvažoval download soubory + torrent. Dva programy, dva pluginy. Torrent funguje, tedy jakž takž. Ty stránky, kde je magnet nebo .torrent jsou děsně prolezlé reklamou a kradou kliknutí myši (focus na stránce), aby otevřely nové okno s bordelem.

Nechtělo se mi přesunovat stažené soubory a torrenty z PC na SERVER, protože to tahám na NVME, kde jsem chtěl šetřit TBW a hlavně třeba u torrentů mít to PC přes noc a den vypnuté, někdy se to stahuje týden (málo zdrojů). Ale asi mi nic jiného nezbyde.

[mr.qeg]

Když na tom Serveru máš Mint s full desktop gui, nebude nejjednodušší ten browser otevřít přímo tam, přes nějakou obdobu RDP z toho tvého PC? Např. KDE desktop má i RDP server. Předpokládám, že Gnome/Cinnamon, co je defautně v Mintu něco takového mít taky bude. Nebo při nejhorším nějaké staré dobré VNC.

[Jey]

Jo, RDP (xrdp) jsem si na tom Mintu (Cinnamon) rozchodil, je to normálně kompatibilní s Windows (MSTSC). Používám buď to a nebo SSH (doinstalován SSH Server) přes Putty.

Nejjednodušší se mi zdá na tom Windows PC ty downloady přesouvat, je to samba. A síť jsem přešel na 5gbit. Konvenční disk má maximum 250MB/s. Nikdy netrvají tak moc dlouho. (500MBit net).

[DOC_ZENITH]

Aby to ňák fungovalo tak by na druhý straně musel bejt SW co je schopnej obstarat i ty downloady z portálů či případně držet loginy do nich, něco typu Jdownloader, ale nevim jak ty download příkazy dostaneš až do něj a taky to neni zrovna samosobslužná věc, časem ti ňáké ty cookies vyprchaj a tak a musíš je tam pak ručně fixovat a to se z toho zblázníš. V takovou chvíli jsem na onen druhej komp stejně připojenej rustdeskem a ručně hlídám jestli se download skutečně rozjel.

[CyberDeath]

Btw divate se na to špatně ono by to šlo ... jen bys na PC ze kterých "stahuješ" tyto normal download (ne torrent ten jde elegantně vyřešit jinak) je si rozjet v siti vlastni dns -> něco jako pihole . A pak přes dns spoofing proste odchytavat a přesměrovat downloady

Ale asi by to bylo trochu naročnéjší ... musela by si cilova stanice i vytvářet nebo odchytávat https certifikáty ... , cela vnitřńí it by ti musela jet ve vlastní proxy pro kterou by certifiaty vytvářela vnitřńí stanice . a pak by šlo možná přes ICAP nadefinovat typy souboru co se maj přesměrovat .... Ale = ve výsledku celá tvá vnitřńí síť a jakakoliv komnukiace s internetem prováděná prakticky nezabezpečená a zevnitř lehce napaditelná ... takhle dalko sem ještě nešel takže zdali by to šlo nějak zabezpečit netuším.

Prakticky jde o princim jak funguje moderní malware

A mám takový pocit (nevím jestli to tam ještě je) mikrotik měl v routerech funkci = nevim jak se jmenovala ... přesměrování paketu nebo tak něco = kdy šlo nakonfigurovat tak že tada stahované na PC se zárověň klonovali na NAS ...

EDIT:
Ale pro tvé využítí by asi bylo nejjednodušší pokud máš rychlou síť a dostatečně výkoný NAS ... rozjet si v dockeru prohlížeš přimo na nasu -> a jednoduše stahovat tyto věci připo přesněj ... a když si to zabezpečíš , uděláš nějakou malou proxy jako caddy a k tomu nějakou free domenu tak to můžeš mít dostupné i z netu.

EDIT2: příklad v práci bouchneš do prohlížeče Jey.nas.v6.rocks:67952 a otevře se ti webovy prohlížeč na tvém nasu ... vše přes SSL a stahovat se bude lokálně.

[Jey]

Takže to máme: aria, jdownloader, pyload // všechny tyhle tři stahovače by měly mít web rozhraní, plugin do prohlížeče a předávání linků z clienta na server pomocí toho pluginu
Kdybyste se k tomu k tomu otestování, někdo dostali, uvítám zde informace. Mě to čeká někdy, až bude čas a období dešťů, pokud vůbec někdy, nebo případně velmi tuhá zima.

Cyberdeath: Jo jasně, chápu ten princip (dns). Mám a používám vlastní pihole. // ten druhý způsob rozumím, je to už výrazně složitejší, do toho se mi nechce.

[mr.qeg]

Co popisuje CyberDeath, to byl ten pyload, ne? A když už máš rozjetý wireguard, tak se můžeš rovnou dostat do vnitřní sítě a pustit si to tam na tom localhostu, bez otevřených portů.

[CyberDeath]

Jey -> no právě ten druhý zpusob je jedoduchý jako prase ... se sestavenim dockeru pro caddy (který potřebuješ jen pro přistup z netu , ale jestli máš už funkčni jiné proxy nebo VPN tak ani nepotřebuješ , nebo pokud to chceš používat jen z vnitřńi sítě) a pro prohlížeč třeba firefox ... ti pomůže AI = ve vysledku práce tak 1-2h pokud nevíš co a jak a budeš sestavovat několikrát než ti AI vyhodi fukční konfiguraci.

A pak budeš mít prostě prohlížeč v prohlížeči -> a bude to fungovat všude a naprosto na vše , a jako bonus .. můžeš to používat všude -> obejít tím třeba síťové restrikce v práci nebo když se budeš pripojovat z veřejného místa .. tak si tak vytvořiš "vrstvu" zabezpečení ... protože věci pojedou z tvého nasu doma ...