Konto, Abrechnung & Einstellungen
TeachFORGE.ai
Konto, Abrechnung & Einstellungen / Eigene GPU
Ihre eigene GPU verbinden
Ihr Browser kommuniziert direkt mit Ihrer GPU. Nichts läuft über die Server von TeachForge.
Ihre Hardware, Ihr Modell, Ihre Daten, keine Rechnung.
Was es bewirkt
Ihre eigene GPU richtet TeachForge auf einen von Ihnen betriebenen, OpenAI-kompatiblen Endpunkt aus – vLLM, Ollama oder Ähnliches. Das Panel ist bei diesem Arrangement konkret: Ihr Browser ruft ihn direkt auf, die GPU verlässt niemals Ihren Rechner, und keine Anfrage läuft über die Server von TeachForge.
Das ist die Datenschutzeigenschaft, die es zu verstehen gilt. Der Prompt geht von Ihrem Browser zu Ihrem eigenen Rechner. TeachForge sieht das Ergebnis, das Sie zu speichern entscheiden, nicht den Datenverkehr.
Es benötigt Standard oder höher, und ein Administrator muss Bring-your-own-AI für die Website aktiviert haben. Das Panel zeigt an, welche der beiden Voraussetzungen fehlt, wenn es nicht verfügbar ist.
Einrichtung
vLLM für Browserzugriff einrichten verlinkt eine Schritt-für-Schritt-Anleitung für jedes Betriebssystem – Ubuntu Desktop, Windows und macOS. Folgen Sie der Anleitung für Ihren Rechner; der Teil zum Browserzugriff ist die Stelle, an der die meisten Probleme entstehen, und die Anleitungen behandeln ihn.
Dann auf diesem Tab: schalten Sie Aktivieren ein, geben Sie die GPU-Basis-URL und der Modellein, und drücken Sie Verbindung testen. Bei Erfolg steht dort Verbunden — n Modell(e) gefunden, mit einer Liste der Modelle.
Zwei Details, die das Panel ausdrücklich nennt und die trotzdem oft übersehen werden. Die URL muss enden auf /v1. Und wenn die GPU auf demselben Rechner läuft, verwenden Sie die Loopback-Adresse – sie funktioniert auch auf der live geschalteten sicheren Website, da Loopback von der Mixed-Content-Blockierung ausgenommen ist. Ein Rechnername oder eine lokale Netzwerkadresse sind das nicht.
Inferenz-Überschreibungen
Ein optionaler Inferenz-Überschreibungen -Abschnitt nimmt Temperature, Max Tokens, Top P, Kontextfenster, Timeout (Sekunden) und Denk-Budget (Tokens), sowie JSON-Schema erzwingen (gesteuerte Dekodierung).
Lassen Sie sie zunächst unangetastet. Die beiden, zu denen es sich zu greifen lohnt, sind das Kontextfenster, falls lange Prompts abgeschnitten werden, und das Timeout, falls eine große Generierung vor ihrem Abschluss unterbrochen wird.
Ein VRAM & Kontext — grobe Orientierung -Aufklappbereich gibt Bandbreiten ab etwa 8 GB an – der schnellste Weg, um zu beurteilen, ob ein Modell passt, bevor Sie es herunterladen.
Während des Laufens
Ihr Browser ist es, der mit der GPU kommuniziert, daher muss der Tab für die gesamte Generierung geöffnet bleiben. Die KI-Panels weisen darauf hin, und das ist der Unterschied zwischen diesem Modus und dem plattformseitig gehosteten.
Alles andere ist identisch: derselbe kompilierte Prompt, dieselben Aufgaben-Standardwerte, dieselbe Validierung dessen, was zurückkommt.