Hesap, Faturalandırma ve Ayarlar
TeachFORGE.ai
Hesap, Faturalandırma & Ayarlar / Kendi GPU'nuz
Kendi GPU'nuzu bağlayın
Tarayıcınız GPU'nuzla doğrudan konuşur. Hiçbir şey TeachForge sunucularından geçmez.
Sizin donanımınız, sizin modeliniz, sizin veriniz, fatura yok.
Ne yapar
Kendi GPU'nuz TeachForge'u çalıştırdığınız OpenAI uyumlu bir uç noktaya yönlendirir — vLLM, Ollama veya benzeri. Panel düzenlemeyi somut belirtir: tarayıcınız doğrudan onu çağırır, GPU makinenizden asla ayrılmaz ve hiçbir istek TeachForge sunucularından geçmez.
Anlaşılmaya değer gizlilik özelliği budur. İstem tarayıcınızdan kendi makinenize gider. TeachForge kaydetmeyi seçtiğiniz sonucu görür, trafiği değil.
Standard veya üzeri gerekir ve bir yönetici site için kendi AI'nızı getirmeyi etkinleştirmiş olmalıdır. Kullanılamadığında panel ikisinden hangisinin eksik olduğunu söyler.
Kurmak
Tarayıcı erişimi için vLLM kur her işletim sistemi için adım adım bir kılavuza bağlar — Ubuntu masaüstü, Windows ve macOS. Makineniz için olanı izleyin; insanları şaşırtan kısım tarayıcı erişimi kısmıdır ve kılavuzlar onu kapsar.
Sonra bu sekmede: geçişi Etkinleştir açın, GPU taban URL ve Modelgirin ve Bağlantıyı test etbasın. Başarı şöyle okur: Bağlandı — n model bulundu, modeller listelenmiş.
Panelin açıkladığı ve insanların yine de kaçırdığı iki ayrıntı. URL şununla bitmelidir: /v1. Ve GPU aynı bilgisayarda çalıştığında döngü adresi kullanın — canlı güvenli sitede bile çalışır, çünkü döngü karma içerik engellemeden muaftır. Bir makine adı veya yerel ağ adresi olmayacaktır.
Çıkarım geçersiz kılmaları
İsteğe bağlı bir Çıkarım geçersiz kılmaları bölümü şunları alır: Sıcaklık, Maksimum jeton, Top P, Bağlam penceresi, Zaman aşımı (saniye) ve Düşünme bütçesi (jeton), artı JSON şemasını zorunlu kıl (rehberli çözümleme).
Başlamak için onlara dokunmayın. Uzanmaya değer ikisi, uzun istemler kesiliyorsa bağlam penceresi ve büyük bir üretim bitmeden kesiliyorsa zaman aşımıdır.
Bir VRAM & bağlam — kaba kılavuz açıklaması yaklaşık 8 GB'dan yukarı bantlar verir; bir modeli indirmeden sığıp sığmayacağına karar vermenin en hızlı yoludur.
Çalışırken
Tarayıcınız GPU ile konuşandır, bu yüzden sekmenin tüm üretim boyunca açık kalması gerekir. AI panelleri bunu söyler ve bu kip ile platformda barındırılan arasındaki farktır.
Geri kalan her şey özdeştir: aynı derlenmiş istem, aynı görev varsayılanları, gelenlerin aynı doğrulaması.