Akaun, Pengebilan & Tetapan
TeachFORGE.ai
Akaun, Pengebilan & Pengperaturan / GPU anda sendiri
Hubungkan GPU Anda sendiri
Pelayar anda bercakap langsung ke GPU anda. Tiada yang lewat server TeachForge.
Peranti keras anda, model anda, data anda, tanpa bil.
Apa fungsinya
GPU Anda sendiri mengarahkan TeachForge ke endpoint yang kompatibel OpenAI yang anda jalankan — vLLM, Ollama, atau sejenisnya. Panel spesifik tentang tetapannya: pelayar anda memanggilnya langsung, GPU tidak pernah meninggalkan mesin anda, dan tiada permintaan yang lewat server TeachForge.
Itulah sifat privasi yang perlu difahami. Prompt pergi dari pelayar anda ke mesin anda sendiri. TeachForge melihat hasil yang anda pilih untuk disimpan, bukan lalu lintasnya.
Memerlukan Standard atau di atasnya, dan pentadbir mesti mengaktifkan AI lalai sendiri untuk situs. Panel mengatakan mana dari keduanya yang hilang apabila tidak tersedia.
Menyiapkannya
Sediakan vLLM untuk akses pelayar menaut ke panduan langkah demi langkah untuk setiap sistem operasi — Desktop Ubuntu, Windows dan macOS. Ikuti yang untuk mesin anda; bahagian akses-pelayar ialah yang sering menjebak orang dan panduan mencakupnya.
Lalu, di tab ini: nyalakan Aktifkan , masukkan URL dasar GPU dan Model, dan tekan Uji sambungan. Sukses bertuliskan Terhubung — n model ditemui, dengan model tercantum.
Dua detail yang dijabarkan panel dan orang tetap melewatkannya. URL mesti berakhir dengan /v1. Dan apabila GPU berjalan di komputer yang sama, gunakan alamat loopback — berfungsi bahkan di laman aman live, kerana loopback dikecualikan dari pemblokiran mixed-content. Nama mesin atau alamat jaringan lokal tidak akan.
Override inferensi
Bahagian opsional Override inferensi menerima Suhu, Max tokens, Top P, Context window, Timeout (detik) dan Thinking budget (tbaikn), plus Terapkan skema JSON (guided decoding).
Biarkan saja untuk memulai. Dua yang layak dijangkau ialah context window, jika prompt panjang dipotong, dan timeout, jika penjanaan besar dipotong sebelum selesai.
Sebuah VRAM & konteks — panduan kasar pengungkapan memberi pita dari sekitar 8 GB ke atas, cara paling pantas menilai apakah model akan muat sebelum anda mengmuat turunnya.
Apabila berjalan
Pelayar anda yang bercakap ke GPU, jadi tab mesti tetap terbuka sepanjang penjanaan. Panel AI berkata demikian, dan itu perbedaan antara mod ini dan yang di-host platform.
Segala yang lain sama: prompt terkompilasi yang sama, lalai tugas yang sama, validasi yang sama atas apa yang kembali.