Konto, faktura og innstillinger
TeachFORGE.ai
Konto, faktura & Innstillinger / Din egen GPU
Koble til din egen GPU
Nettleseren din snakker direkte med GPU-en din. Ingenting går gjennom TeachForges servere.
Din maskinvare, din modell, dine data, ingen regning.
Hva den gjør
Din egen GPU peker TeachForge mot et OpenAI-kompatibelt endepunkt du kjører — vLLM, Ollama eller lignende. Panelet er spesifikt om ordningen: nettleseren din kaller den direkte, GPU-en forlater aldri maskinen din, og ingen forespørsel går gjennom TeachForges servere.
Det er personvernegenskapen verd å forstå. Ledeteksten går fra nettleseren din til din egen maskin. TeachForge ser resultatet du velger å lagre, ikke trafikken.
Den trenger Standard eller høyere, og en administrator må ha aktivert bring-your-own AI for nettstedet. Panelet sier hvilken av de to som mangler når den er utilgjengelig.
Å sette den opp
Sett opp vLLM for nettlesertilgang lenker til en trinnvis veiledning for hvert operativsystem — Ubuntu desktop, Windows og macOS. Følg den for maskinen din; nettlesertilgangsdelen er det som tar folk på senga, og veiledningene dekker den.
Deretter, på denne fanen: slå Aktiver på, skriv inn GPU-base-URL og Modell, og trykk Test tilkobling. Suksess leses Tilkoblet — n modell(er) funnet, med modellene listet.
To detaljer panelet spesifiserer og folk fortsatt misser. URL-en må slutte på /v1. Og når GPU-en kjører på samme datamaskin, bruk loopback-adressen — den fungerer selv på det live sikre nettstedet, fordi loopback er unntatt fra mixed-content-blokkering. Et maskinnavn eller en lokal nettverksadresse vil ikke være det.
Inferens-overstyringer
En valgfri Inferens-overstyringer seksjon tar Temperatur, Maks tokens, Top P, Kontekstvindu, Tidsavbrudd (sekunder) og Tenkebudsjett (tokens), pluss Håndhev JSON-skjema (veiledet dekoding).
La dem være i starten. De to verd å rekke etter er kontekstvinduet, hvis lange ledetekster trunkeres, og tidsavbruddet, hvis en stor generering kuttes før den er ferdig.
En VRAM & kontekst — omtrentlig veiledning opplysningen gir bånd fra omtrent 8 GB og oppover, som er den raskeste måten å vurdere om en modell vil passe før du laster den ned.
Mens den kjører
Nettleseren din er det som snakker med GPU-en, så fanen må forbli åpen under hele genereringen. AI-panelene sier det, og det er forskjellen mellom denne modusen og den plattformhostede.
Alt annet er identisk: samme kompilerte ledetekst, samme oppgavestandarder, samme validering av det som kommer tilbake.