Fiók, számlázás és beállítások
TeachFORGE.ai
Fiók, számlázás & Beállítások / Saját GPU
Csatlakoztassa a saját GPU-ját
A böngészője közvetlenül a GPU-jához beszél. Semmi nem megy át a TeachForge szerverein.
Az Ön hardvere, az Ön modellje, az Ön adatai, nincs számla.
Mit csinál
A saját GPU-ja a TeachForge-ot egy Ön által futtatott, OpenAI-kompatibilis végpontra irányítja — vLLM, Ollama vagy hasonló. A panel pontosan leírja az elrendezést: a böngészője közvetlenül hívja, a GPU soha nem hagyja el a gépét, és semmilyen kérés nem megy át a TeachForge szerverein.
Ez az adatvédelmi tulajdonság, amelyet érdemes megérteni. A prompt a böngészőjéből a saját gépére megy. A TeachForge azt az eredményt látja, amelyet menteni választ, nem a forgalmat.
Standard vagy magasabb csomag kell, és egy adminisztrátornak engedélyeznie kellett a saját AI behozatalát a helyszínen. A panel megmondja, melyik hiányzik a kettő közül, ha nem elérhető.
Beállítás
vLLM beállítása böngészős hozzáféréshez lépésről lépésre útmutatót linkel minden operációs rendszerhez — Ubuntu asztali, Windows és macOS. Kövesse a gépéhez valót; a böngészős hozzáférés az a rész, ami meglepi az embereket, és az útmutatók lefedik.
Ezután ezen a fülön: kapcsolja Engedélyezés be, adja meg a GPU alap URL és a Modellmezőket, és nyomja meg a Kapcsolat tesztelésegombot. A siker ezt mutatja: Csatlakozva — n modell található, a modellek listájával.
Két részletet a panel kimond, és az emberek mégis eltévesztik. Az URL-nek ezzel kell végződnie: /v1. És amikor a GPU ugyanazon a számítógépen fut, használja a loopback címet — még az élő biztonságos oldalon is működik, mert a loopback mentes a vegyes tartalom blokkolása alól. Egy gépnév vagy helyi hálózati cím nem lesz.
Következtetési felülbírálások
Egy opcionális Következtetési felülbírálások szakasz fogadja: Hőmérséklet, Max tokens, Top P, Context window, Timeout (seconds) és Thinking budget (tokens), plusz JSON-séma kényszerítése (vezérelt dekódolás).
Kezdetben hagyja őket békén. A két érdemes a kontextusablak, ha a hosszú promptok levágódnak, és az időtúllépés, ha egy nagy generálás befejezés előtt megszakad.
Egy VRAM & kontextus — durva útmutató közlés sávokat ad körülbelül 8 GB-tól felfelé, ami a leggyorsabb módja annak, hogy megítélje, belefér-e egy modell, mielőtt letöltené.
Amíg fut
A böngészője beszél a GPU-hoz, ezért a fülnek nyitva kell maradnia a teljes generálás alatt. Az AI panelek ezt mondják, és ez a különbség e mód és a platformon hosztolt között.
Minden más azonos: ugyanaz a lefordított prompt, ugyanazok a feladat-alapértelmezések, ugyanaz a visszakapott tartalom ellenőrzése.