Account, Pagsingil at Mga Setting
TeachFORGE.ai
Account, Pagsingil & Setting / Ang Sarili Mong GPU
Ikonekta ang sarili mong GPU
Direktang nakikipag-usap ang browser mo sa GPU mo. Walang dumadaan sa mga server ng TeachForge.
Ang hardware mo, ang model mo, ang data mo, walang bayarin.
Ano ang ginagawa nito
Sarili Mong GPU itinuturo ang TeachForge sa isang OpenAI-compatible na endpoint na pinapatakbo mo — vLLM, Ollama, o katulad. Tukoy ang panel tungkol sa ayos: direktang tinatawag ito ng browser mo, hindi kailanman umaalis ang GPU sa makina mo, at walang request na dumadaan sa mga server ng TeachForge.
Iyan ang privacy property na sulit unawain. Ang prompt ay pumupunta mula sa browser mo patungo sa sariling makina mo. Nakikita ng TeachForge ang resultang pinili mong i-save, hindi ang traffic.
Kailangan nito ng Standard o mas mataas, at kailangang na-enable ito ng isang administrator para sa bring-your-own AI ng site. Sinasabi ng panel kung alin sa dalawa ang nawawala kapag hindi available.
Ang Pag-setup Nito
I-setup ang vLLM para sa Browser Access ay naka-link sa isang step-by-step guide para sa bawat operating system — Ubuntu Desktop, Windows at macOS. Sundan ang isa para sa makina mo; ang bahaging browser-access ang sulit bigyang-pansin dahil dito kadalasang naliligaw ang mga tao at tinatalakay ito ng mga guide.
Tapos, sa tab na ito: i-switch Enable sa on, ipasok ang GPU Base URL at ang Model, at pindutin ang Test Connection. Ang tagumpay ay nagbabasa ng Nakakonekta — n na modelo ang natagpuan, may listahan ng mga model.
Dalawang detalye na malinaw na sinasabi ng panel pero madalas napalampas ng mga tao. Ang URL ay dapat matapos sa /v1. At kapag tumatakbo ang GPU sa parehong computer, gamitin ang loopback address — gumagana ito kahit sa live na secure site, dahil exempt ang loopback mula sa mixed-content blocking. Hindi gagana ang isang pangalan ng makina o isang local network address.
Mga Inference Override
Isang opsyonal na Mga Inference Override seksyon ay kukuha ng Temperatura, Max Tokens, Top P, Context Window, Timeout (segundo) at Thinking Budget (mga token), kasama ang Enforce JSON Schema (guided decoding).
Iwanan na muna ang mga ito sa simula. Ang dalawang sulit abutin ay ang context window, kung pinuputol ang mahahabang prompt, at ang timeout, kung ang isang malaking generation ay naputol bago matapos.
Isang VRAM & context — magaspang na guide disclosure ay nagbibigay ng mga band mula sa halos 8 GB paitaas, na ang pinakamabilis na paraan para husgahan kung magkasya ang isang model bago mo ito i-download.
Habang Tumatakbo
Ang browser mo ang nag-uusap sa GPU, kaya kailangang manatiling bukas ang tab sa buong generation. Sinasabi ito ng mga AI panel, at ito ang pagkakaiba sa pagitan ng mode na ito at ang platform-hosted.
Kapareho ang lahat ng iba: ang parehong compiled prompt, ang parehong task default, ang parehong validation ng natatanggap.