Konto, arve ja seaded
TeachFORGE.ai
Konto, arveldus & Seaded / Sinu enda GPU
Ühenda oma GPU
Sinu brauser räägib sinu GPU-ga otse. Mitte midagi ei läbi TeachForge'i servereid.
Sinu riistvara, sinu mudel, sinu andmed, ei mingit arvet.
Mida see teeb
Teie oma GPU suunab TeachForge'i OpenAI-ühilduvale lõpp-punktile, mida sa käitad — vLLM, Ollama või sarnane. Paneel on korralduse osas konkreetne: sinu brauser kutsub seda otse, GPU ei lahku kunagi sinu masinast, ja mitte ükski päring ei läbi TeachForge'i servereid.
See on privaatsuse omadus, mida tasub mõista. Viip läheb sinu brauserist sinu enda masinasse. TeachForge näeb tulemust, mille otsustad salvestada, mitte liiklust.
See vajab Standard plaani või kõrgemat, ja administraator peab olema lubanud oma AI toomise saidi jaoks. Paneel ütleb, kumb neist kahest puudub, kui see ei ole saadaval.
Selle seadistamine
Seadista vLLM brauseri juurdepääsuks lingib samm-sammulise juhendi igale operatsioonisüsteemile — Ubuntu töölaud, Windows ja macOS. Järgi seda, mis sobib sinu masinale; brauseri-juurdepääsu osa on see, mis inimesi tavaliselt takistab, ja juhendid käsitlevad seda.
Siis, sellel vahelehel: lülita Luba sisse, sisesta GPU baas-URL ja Mudel, ja vajuta Testi ühendust. Õnnestumine näitab Ühendatud — leitud n mudel(it), koos mudelite loeteluga.
Kaks detaili, mida paneel selgelt välja toob, ja mida inimesed ikkagi kahe silma vahele jätavad. URL peab lõppema /v1-ga. Ja kui GPU töötab samal arvutil, kasuta loopback-aadressi — see töötab isegi elaval turvalisel saidil, kuna loopback on segasisu blokeerimisest vabastatud. Masina nimi või kohaliku võrgu aadress ei ole.
Järelduse ülekirjutused
Valikuline Järelduse ülekirjutused jaotis võtab Temperatuur, Maksimaalne märgiarv, Top P, Kontekstiaken, Ajapiirang (sekundites) ja Mõtlemiseelarve (märke), pluss Jõusta JSON-skeem (juhitud dekodeerimine).
Jäta need alguses puutumata. Kaks, mille poole tasub sirutada, on kontekstiaken, kui pikad viibid katkestatakse, ja ajapiirang, kui suur genereerimine katkestatakse enne lõppemist.
VRAM & kontekst — ligikaudne juhend avaldab vahemikud alates umbes 8 GB-st ülespoole, mis on kiireim viis hinnata, kas mudel sobib, enne kui selle alla laadid.
Töö käivitamise ajal
Sinu brauser on see, mis GPU-ga räägib, seega peab vaheleht jääma avatuks kogu genereerimise ajaks. AI paneelid ütlevad seda, ja see on erinevus selle režiimi ja platvormi majutatud režiimi vahel.
Kõik muu on identne: sama koostatud viip, samad ülesande vaikeväärtused, sama tagasi tuleva vastuse kontroll.