חשבון, חיוב והגדרות
TeachFORGE.ai
חשבון, חיוב & הגדרות / ה-GPU שלכם עצמכם
חבר את ה-GPU שלך
הדפדפן שלכם מדבר עם ה-GPU שלכם במישרין. שום דבר לא עובר בשרתים של TeachForge.
החומרה שלכם, המודל שלכם, הנתונים שלכם, בלי חשבון.
מה זה עושה
ה-GPU שלך מפנה את TeachForge לנקודת קצה תואמת-OpenAI שאתם מריצים — vLLM, Ollama או דומה. הפאנל ספציפי לגבי הסידור: הדפדפן שלכם קורא לה במישרין, ה-GPU לעולם לא עוזב את המכשיר שלכם, ואף בקשה לא עוברת בשרתים של TeachForge.
זו תכונת הפרטיות ששווה להבין. ה-prompt עובר מהדפדפן שלכם למכשיר שלכם עצמכם. TeachForge רואה את התוצאה שאתם בוחרים לשמור, לא את התעבורה.
זה צריך סטנדרטי ומעלה, ומנהל מערכת צריך להפעיל בינה מלאכותית ביאו-משלכם באתר. הפאנל אומר איזה משני אלה חסר כשזה לא זמין.
הגדרתו
הגדר vLLM לגישת דפדפן מקשר למדריך שלב-אחר-שלב לכל מערכת הפעלה — שולחן עבודה Ubuntu, Windows ו macOS. עקבו אחרי זה שמתאים למכשיר שלכם; חלק גישת הדפדפן הוא הדבר שתופס אנשים לא מוכנים, והמדריכים מכסים אותו.
אז, בטאב הזה: הפעילו את המתג הפעל והזינו את כתובת בסיס GPU וב מודל, ולחצו בדוק חיבור. הצלחה קוראת מחובר — נמצאו n מודלים, עם המודלים ברשימה.
שני פרטים שהפאנל מפרט ואנשים בכל זאת מפספסים. ה-URL חייב להסתיים ב /v1. וכשה-GPU רץ על אותו המחשב, השתמשו בכתובת loopback — היא עובדת אפילו באתר המאובטח החי, כי loopback פטורה מחסימת תוכן מעורב. שם מכשיר או כתובת רשת מקומית לא יהיו.
עקיפות היסק
אופציונלי עקיפות היסק החלק מקבל טמפרטורה, מקסימום אסימונים, Top P, חלון הקשר, פסק זמן (שניות) ו תקציב חשיבה (אסימונים), בתוספת אכוף סכימת JSON (פענוח מודרך).
השאירו אותם כמו שהם בהתחלה. השניים ששווה לפנות אליהם הם חלון ההקשר, אם prompts ארוכים נקטעים, ופסק הזמן, אם יצירה גדולה נקטעת לפני שהיא מסתיימת.
מתג VRAM & הקשר — מדריך גס החשיפה נותנת רצועות מסביבות 8GB ומעלה, וזו הדרך המהירה ביותר לשפוט אם מודל יתאים לפני שמורידים אותו.
בזמן שהוא רץ
הדפדפן שלכם הוא מה שמדבר עם ה-GPU, כך שהטאב צריך להישאר פתוח לכל אורך היצירה. פאנלי הבינה המלאכותית אומרים זאת, וזה ההבדל בין המצב הזה למצב שמתארח בפלטפורמה.
כל השאר זהה: אותו ה-prompt המורכב, אותן ברירות המחדל של המשימה, אותו אימות של מה שמתקבל.