Račun, naplata i postavke
TeachFORGE.ai
Račun, naplata & Postavke / Vlastiti GPU
Povežite svoj vlastiti GPU
Vaš preglednik komunicira izravno s vašim GPU-om. Ništa ne prolazi kroz TeachForgeove poslužitelje.
Vaš hardver, vaš model, vaši podaci, bez računa.
Što radi
Vaš vlastiti GPU usmjerava TeachForge na OpenAI-kompatibilnu krajnju točku koju sami pokrećete — vLLM, Ollama ili slično. Ploča je konkretna oko rasporeda: vaš je preglednik izravno poziva, GPU nikada ne napušta vaše računalo, i nijedan zahtjev ne prolazi kroz TeachForgeove poslužitelje.
To je svojstvo privatnosti koje vrijedi razumjeti. Upit ide iz vašeg preglednika na vaše vlastito računalo. TeachForge vidi rezultat koji odaberete spremiti, a ne sam promet.
Potreban je Standard ili viši plan, a administrator mora omogućiti korištenje vlastitog AI-ja za stranicu. Ploča navodi koje od to dvoje nedostaje kada nije dostupno.
Postavljanje
Postavi vLLM za pristup putem preglednika povezuje vodič korak po korak za svaki operacijski sustav — Ubuntu desktop, Windows i macOS. Pratite onaj za vaše računalo; dio o pristupu putem preglednika ono je što ljude najčešće zbunjuje, a vodiči to pokrivaju.
Zatim, na ovoj kartici: uključite Omogući , unesite Osnovni URL GPU-a i Model, i pritisnite Testiraj vezu. Uspjeh glasi Povezano — pronađeno n modela, s popisom modela.
Dva detalja koja ploča jasno navodi, a ljudi ih svejedno propuštaju. URL mora završavati na /v1. A kada GPU radi na istom računalu, koristite loopback adresu — radi čak i na aktivnoj sigurnoj stranici, jer je loopback izuzet od blokiranja mješovitog sadržaja. Naziv računala ili adresa lokalne mreže neće raditi.
Nadjačavanja zaključivanja
Neobavezan Nadjačavanja zaključivanja odjeljak prihvaća Temperatura, Najviše tokena, Top P, Kontekstni prozor, Vrijeme čekanja (sekunde) i Proračun razmišljanja (tokeni), te Provedi JSON shemu (vođeno dekodiranje).
U početku ih ostavite na miru. Ona dva koja se isplati podesiti jesu kontekstni prozor, ako se dugački upiti skraćuju, i vrijeme čekanja, ako se veliko generiranje prekida prije nego što završi.
Prekidač VRAM & kontekst — okviran vodič otkriveni odjeljak daje raspone od otprilike 8 GB naviše, što je najbrži način da procijenite hoće li model stati prije nego ga preuzmete.
Dok se izvršava
Vaš preglednik komunicira s GPU-om, pa kartica mora ostati otvorena tijekom čitavog generiranja. AI ploče to i navode, i to je razlika između ovog načina i onog koji hostira platforma.
Sve ostalo identično je: isti sastavljeni upit, iste zadane postavke zadatka, ista provjera valjanosti onoga što se vrati.