Большинство этих слов пришло из научных статей и так и не было переведено на человеческий язык. Знание шести из них превращает чат, который загадочно ведёт себя не так, в проблему, которую можно найти.
Первыми стоит выучить два — контекстное окно и постоянную память: почти каждая жалоба, начинающаяся с «персонаж забыл», сводится к тому, что их путают.
Сам персонаж
Персона (persona) — слой личности персонажа: имя, голос, манера, история, привычки. Именно это модель просят воплощать в каждом ответе.
Системный промпт (system prompt) — скрытый блок инструкций, который модель получает перед тем, как что-либо сгенерировать. Здесь в нём лежат персона, правила текущей сцены и фрагмент памяти о конкретном собеседнике.
Карточка персонажа (character card) — переносимый набор из персоны, первого сообщения, модели по умолчанию и параметров сэмплинга. Существует несколько распространённых в сообществе форматов, и именно через них персонажи переезжают между платформами.
Память — и то, что за неё принимают
Контекстное окно (context window) — максимальный объём текста, который модель может удерживать в голове для одного ответа. Окно побольше опирается на большую часть недавнего разговора и стоит дороже за вызов. Это предел, а не хранилище: когда разговор выходит за него, самая старая часть просто выпадает.
Постоянная память (persistent memory) — факты, которые персонаж хранит о тебе между сессиями. Это совсем другой механизм: отобранный, редактируемый и подставляемый в контекст при каждом ответе. Здесь память ведётся отдельно на каждого персонажа, каждый топик и каждого собеседника — и полностью видна тебе.
Именно это различие снимает большинство жалоб. Персонаж забыл что-то, сказанное час назад, — эффект контекстного окна. Персонаж забыл, как зовут твою сестру, — проблема записи в памяти, и если этот факт никогда не был записан, ни одна модель не вспомнит его правильно.
Токен (token) — минимальная единица, которую модель читает и пишет; примерно четыре символа английского текста, русский обычно расходует токены быстрее. Контекстные окна измеряются в токенах, поэтому предел, звучащий огромным, заполняется быстрее, чем ожидаешь.
Управление разговором
Ветка, или форк (fork) — точка расхождения. Форк от ответа создаёт альтернативную ветку, которая растёт рядом с исходной, и обе сохраняются. Именно поэтому попробовать другое направление здесь бесплатно, а не разрушительно.
Перегенерация (regenerate) — запрос другой версии последнего ответа, не трогая ничего остального. Тот же контекст, новый ответ.
Ручки настройки
Температура (temperature) — насколько предсказуемы ответы. Ниже — ровнее, выше — неожиданнее. Персонаж, который кажется плоским, часто проблема температуры, а не модели.
top_p, top_k, min_p — ограничения на то, какие слова-кандидаты модель вообще рассматривает следующими. Полезны для настройки регистра: осторожный, выразительный, лаконичный, многословный.
Штраф за повторы (repetition penalty) — отучает переиспользовать фразы. Это лекарство для персонажа, который выдаёт любимую реплику каждый четвёртый ответ.
Механика под капотом
Роутер моделей (model router) — инфраструктура, которая подбирает модель для сцены из пула и незаметно переключается, когда одна из них деградирует.
Failover и circuit breaker — роутер отсекает деградирующий источник до того, как тот отравит разговор таймаутами или отказами, и уводит трафик на здоровый. Когда это работает, ты ничего не замечаешь — в этом и смысл.
По краям
Telegram Stars — встроенная микровалюта Telegram, покупается внутри Telegram и тратится на пополнения. Карта для самого пополнения не нужна.
Ссылка на персонажа (share link) — URL с отслеживанием атрибуции, который открывает чат с персонажем автора. Stars, потраченные пришедшими по ней людьми, приносят автору долю.
Топик (topic) — отдельная тема форума в Telegram; здесь каждому персонажу даётся своя комната со своей историей и своей полосой закреплённых сообщений.
Возрастная проверка (age gate) — шаг верификации внутри бота перед тем, как можно включить ролевой чат для взрослых. Публичный сайт — SFW; взрослый режим включается по желанию после проверки, а жёсткие ограничения остаются в любом случае.
RTL — письмо справа налево, используется в арабском, иврите и персидском. Элементы интерфейса зеркалятся, а не остаются текстом с выравниванием по левому краю в языке, который пишется справа.