Akaunti, Malipo na Mipangilio
TeachFORGE.ai
Akaunti, Malipo & Mipangilio / GPU yako mwenyewe
Unganisha GPU yako mwenyewe
Kivinjari chako kinazungumza na GPU yako moja kwa moja. Hakuna kinachopitia seva za TeachForge.
Maunzi yako, modeli yako, data yako, hakuna bili.
Inafanya nini
GPU yako mwenyewe inaelekeza TeachForge kwa mwisho unaooana na OpenAI unaoendesha — vLLM, Ollama au sawa. Paneli ni maalum kuhusu mpango: kivinjari chako kinaiita moja kwa moja, GPU haitoki kamwe mashine yako, na hakuna ombi linapitia seva za TeachForge.
Hiyo ndiyo sifa ya faragha inayostahili kuelewa. Kidokezo kinaenda kutoka kivinjari chako hadi mashine yako. TeachForge linaona matokeo unayochagua kuhifadhi, si trafiki.
Inahitaji Standard au juu, na msimamizi lazima awe amewezesha lete-AI-yako kwa tovuti. Paneli inasema lipi kati ya viwili linakosekana linapokosekana.
Kuweka
Weka vLLM kwa ufikiaji wa kivinjari inaunganisha mwongozo wa hatua kwa hatua kwa kila mfumo wa uendeshaji — Ubuntu desktop, Windows na macOS. Fuata wa mashine yako; sehemu ya ufikiaji wa kivinjari ndiyo inayowashika watu na miongozo inaifunika.
Kisha, katika kichupo hiki: badilisha Wezesha kuwasha, ingiza URL ya msingi ya GPU na Modeli, na bonyeza Jaribu muunganisho. Mafanikio yanasomeka Imeunganishwa — modeli n zimepatikana, na modeli zimeorodheshwa.
Maelezo mawili paneli inayoeleza na watu bado wanapuuza. URL lazima iishe kwa /v1. Na GPU inapoendesha kwenye kompyuta ile ile, tumia anwani ya loopback — inafanya kazi hata kwenye tovuti salama hai, kwa sababu loopback imeondolewa kutoka kuzuia maudhui mchanganyiko. Jina la mashine au anwani ya mtandao wa ndani haitakuwa.
Batilisho za inference
Si lazima Batilisho za inference sehemu inachukua Joto, Tokeni za juu, Top P, Dirisha la muktadha, Muda wa kusubiri (sekunde) na Bajeti ya kufikiri (tokeni), pamoja na Tekeleza skima ya JSON (decoding iliyoongozwa).
Ziacha peke yake kuanza. Viwili vinavyostahili kufikiwa ni dirisha la muktadha, ikiwa vidokezo virefu vinakatishwa, na muda wa kusubiri, ikiwa uzalishaji mkubwa unakatwa kabla haujamaliza.
A VRAM & muktadha — mwongozo wa takriban ufichuzi unatoa bendi kutoka karibu 8 GB juu, ndiyo njia ya haraka zaidi kuhukumu ikiwa modeli itatoshea kabla ya kupakua.
Inapoendesha
Kivinjari chako ndicho kinachozungumza na GPU, kwa hiyo kichupo kinapaswa kubaki wazi kwa uzalishaji wote. Paneli za AI zinasema hivyo, na ndiyo tofauti kati ya hali hii na ile inayoandaliwa na jukwaa.
Kila kitu kingine ni sawa: kidokezo kile kile kilichokusanywa, chaguo-msingi zile zile za kazi, uthibitishaji ule ule wa kinachorudi.