רוב המילים האלה הגיעו ממאמרים אקדמיים ומעולם לא תורגמו. הכרה של שש מהן הופכת צ׳אט שמתנהג מוזר לבעיה שאפשר לאתר.
השתיים ששוות ללמוד ראשונות הן חלון הקשר וזיכרון קבוע, כי כמעט כל תלונה שמתחילה בזה שהדמות שכחה מסתכמת בבלבול ביניהן.
הדמות עצמה
פרסונה — שכבת הזהות של הדמות: שם, קול, גישה, היסטוריה, הרגלים קטנים. את זה מתבקש המודל לגלם בכל תגובה בודדת.
פרומפט מערכת — בלוק ההוראות הנסתר שהמודל מקבל לפני שהוא מייצר משהו. כאן הוא מחזיק את הפרסונה, את חוקי הסצנה הפעילה ואת קטע הזיכרון של הקורא המסוים הזה.
כרטיס דמות — חבילה ניידת של פרסונה, הודעת פתיחה, מודל ברירת מחדל ופרמטרי דגימה. קיימים כמה פורמטים נפוצים בקהילה, וכך דמויות עוברות בין פלטפורמות.
זיכרון, והדבר שמתבלבלים איתו
חלון הקשר — כמות הטקסט המרבית שמודל יכול להחזיק בראש עבור תגובה אחת. חלונות גדולים יותר מתייחסים ליותר מהשיחה האחרונה ועולים יותר לכל קריאה. זה גבול ולא מחסן: כששיחה גדלה מעבר לו, החלק הישן ביותר פשוט נופל החוצה.
זיכרון קבוע — עובדות שדמות שומרת עליכם בין מפגשים. זה מנגנון אחר לגמרי: מנופה, ניתן לעריכה, ומוזרק להקשר בכל תגובה. כאן הוא לפי דמות, לפי נושא, לפי קורא, וגלוי לכם לגמרי.
זו ההבחנה שפותרת את רוב התלונות. דמות ששוכחת משהו מלפני שעה זו השפעה של חלון ההקשר. דמות ששוכחת את שם אחותכם היא בעיה ברשומת זיכרון, ואם העובדה מעולם לא נכתבה, שום מודל לא ישחזר אותה נכון.
טוקן — היחידה הבסיסית שמודל קורא וכותב, בערך ארבעה תווים באנגלית. חלונות הקשר נמדדים בטוקנים, ולכן גבול שנשמע עצום מתמלא מהר ממה שמצפים.
איך מכוונים שיחה
ענף, או פיצול — נקודת התפצלות. פיצול מתגובה יוצר מסלול חלופי שגדל לצד המקורי, ושניהם נשמרים. זה מה שהופך ניסיון של כיוון אחר לחינמי ולא הרסני.
יצירה מחדש — בקשה לגרסה נוספת של התגובה האחרונה בלי לגעת בשום דבר אחר. אותו הקשר, תשובה חדשה.
החוגות
טמפרטורה — עד כמה התגובות צפויות. נמוך יותר יציב יותר, גבוה יותר מפתיע יותר. דמות שמרגישה שטוחה היא לרוב בעיית טמפרטורה ולא בעיית מודל.
top_p, top_k, min_p — מגבלות על אילו מילים מועמדות המודל בכלל שוקל להמשך. שימושיות לכוונון משלב: זהיר, מלא הבעה, תמציתי, מפורט.
קנס חזרתיות — מרתיע שימוש חוזר בביטויים. זה התיקון לדמות שאומרת את המשפט האהוב עליה כל תגובה רביעית.
מה שמתחת למכסה
נתב מודלים — התשתית שבוחרת מודל לסצנה מתוך מאגר ועוברת בשקט לאחר כשאחד מהם מידרדר.
מעבר לגיבוי ומפסק מגן — הנתב מנתק ספק שמידרדר לפני שהוא מספיק להרעיל את השיחה בפסקי זמן או בסירובים, ומעביר את התנועה לספק תקין. כשזה עובד אתם לא שמים לב, וזו כל הנקודה.
בשוליים
Telegram Stars — יחידת המיקרו-תשלום המובנית של Telegram, נרכשת בתוך Telegram ומושקעת בשדרוגים. לטעינה עצמה לא צריך כרטיס.
קישור שיתוף — כתובת עם מעקב ייחוס שפותחת שיחה עם דמות של יוצר. Stars שמוציאים מי שמגיעים דרכה מזכים את היוצר בנתח.
נושא — שרשור פורום ייעודי ב-Telegram, שמשמש לתת לכל דמות חדר משלה עם היסטוריה ורצועת נעיצה משלה.
אימות גיל — שלב האימות בתוך הבוט לפני שאפשר להפעיל משחקי תפקידים למבוגרים. האתר הציבורי נקי; מצב מבוגרים הוא מרצון אחרי האימות, והמגבלות הקשיחות נשארות בכל מקרה.
RTL — כתיבה מימין לשמאל, שמשמשת לעברית, לערבית ולפרסית. רכיבי הממשק מתהפכים ולא נשארים טקסט מיושר לימין בתוך פריסה שנבנתה לשמאל.