Account, facturatie en instellingen
TeachFORGE.ai
Account, Facturatie & Instellingen / Uw eigen GPU
Je eigen GPU verbinden
Uw browser praat rechtstreeks met uw GPU. Niets gaat via de servers van TeachForge.
Uw hardware, uw model, uw data, geen rekening.
Wat het doet
Je eigen GPU richt TeachForge op een OpenAI-compatibel eindpunt dat u draait — vLLM, Ollama of vergelijkbaar. Het paneel is specifiek over de regeling: uw browser roept het rechtstreeks aan, de GPU verlaat nooit uw machine, en geen verzoek gaat via de servers van TeachForge.
Dat is de privacy-eigenschap die de moeite waard is om te begrijpen. De prompt gaat van uw browser naar uw eigen machine. TeachForge ziet het resultaat dat u kiest om op te slaan, niet het verkeer.
Het heeft Standard of hoger nodig, en een beheerder moet bring-your-own AI voor de site hebben ingeschakeld. Het paneel zegt welke van de twee ontbreekt wanneer het niet beschikbaar is.
Het instellen
vLLM instellen voor browsertoegang linkt een stapsgewijze gids voor elk besturingssysteem — Ubuntu desktop, Windows en macOS. Volg die voor uw machine; het browsertoegangsdeel is wat mensen verrast en de gidsen dekken dat.
Dan, op dit tabblad: zet Inschakelen aan, voer de GPU-basis-URL en het Modelin, en druk op Verbinding testen. Succes leest Verbonden — n model(len) gevonden, met de modellen vermeld.
Twee details die het paneel uitspelt en die mensen toch missen. De URL moet eindigen op /v1. En wanneer de GPU op dezelfde computer draait, gebruik het loopback-adres — het werkt zelfs op de live beveiligde site, omdat loopback is vrijgesteld van mixed-content-blokkering. Een machinenaam of een lokaal netwerkadres niet.
Inference-overschrijvingen
Een optionele Inference-overschrijvingen sectie neemt Temperatuur, Max. tokens, Top P, Contextvenster, Time-out (seconden) en Denkbudget (tokens), plus JSON-schema afdwingen (guided decoding).
Laat ze in het begin met rust. De twee die de moeite waard zijn, zijn het contextvenster, als lange prompts worden afgekapt, en de time-out, als een grote generatie wordt afgekapt voordat die klaar is.
Een VRAM & context — ruwe gids toelichting geeft banden vanaf ongeveer 8 GB omhoog, wat de snelste manier is om te beoordelen of een model past voordat u het downloadt.
Terwijl die draait
Uw browser is wat met de GPU praat, dus het tabblad moet open blijven voor de hele generatie. De AI-panelen zeggen dat, en het is het verschil tussen deze modus en de door het platform gehoste.
Al het andere is identiek: dezelfde gecompileerde prompt, dezelfde taakstandaarden, dezelfde validatie van wat terugkomt.