Conta, Cobranças e Definições
TeachFORGE.ai
Conta, Cobranças & Definições / A sua própria GPU
Ligar a sua própria GPU
O browser fala com a GPU diretamente. Nada passa pelos servidores do TeachForge.
O seu hardware, o seu modelo, os seus dados, sem fatura.
O que faz
A sua própria GPU aponta o TeachForge para um endpoint compatível com OpenAI que corre — vLLM, Ollama ou semelhante. O painel é específico sobre o arranjo: o browser chama-o diretamente, a GPU nunca sai da máquina, e nenhum pedido passa pelos servidores do TeachForge.
Essa é a propriedade de privacidade que vale a pena compreender. O prompt vai do browser para a sua própria máquina. O TeachForge vê o resultado que escolher guardar, não o tráfego.
Precisa de Standard ou superior, e um administrador tem de ter ativado trazer a sua própria IA para o site. O painel diz qual dos dois falta quando não está disponível.
Configurá-la
Configurar vLLM para acesso pelo browser liga um guia passo a passo para cada sistema operativo — Ambiente de trabalho Ubuntu, Windows e macOS. Siga o da sua máquina; a parte do acesso pelo browser é a que apanha as pessoas e os guias cobrem-na.
Depois, neste separador: ligue Ativar , introduza o URL base da GPU e no Modelo, e prima Testar ligação. O sucesso diz Ligado — n modelo(s) encontrado(s), com os modelos listados.
Dois detalhes que o painel explica e as pessoas mesmo assim saltam. O URL tem de terminar em /v1. E quando a GPU corre no mesmo computador, use o endereço de loopback — funciona mesmo no site seguro em produção, porque o loopback está isento do bloqueio de conteúdo misto. Um nome de máquina ou um endereço de rede local não estará.
Substituições de inferência
Uma secção Substituições de inferência opcional aceita Temperatura, Máx. de tokens, Top P, Janela de contexto, Tempo limite (segundos) e Orçamento de pensamento (tokens), mais Impor esquema JSON (decodificação guiada).
Deixe-os em paz para começar. Os dois que vale a pena alcançar são a janela de contexto, se prompts longos estão a ser truncados, e o tempo limite, se uma geração grande está a ser cortada antes de terminar.
Um VRAM & contexto — guia aproximado a divulgação dá faixas a partir de cerca de 8 GB para cima, que é a forma mais rápida de julgar se um modelo cabe antes de o transferir.
Enquanto corre
O browser é o que fala com a GPU, por isso o separador tem de ficar aberto durante toda a geração. Os painéis de IA dizem-lho, e é a diferença entre este modo e o alojado na plataforma.
Tudo o resto é idêntico: o mesmo prompt compilado, os mesmos predefinidos da tarefa, a mesma validação do que regressa.