Phần lớn những từ này đến từ các bài nghiên cứu và chưa bao giờ được dịch ra tiếng người. Biết sáu trong số đó là đủ để biến một cuộc trò chuyện trở chứng khó hiểu thành một vấn đề bạn định vị được.
Hai từ đáng học trước là cửa sổ ngữ cảnh và trí nhớ lâu dài, vì gần như mọi lời phàn nàn bắt đầu bằng «nhân vật quên mất» đều quy về việc lẫn lộn hai thứ đó.
Bản thân nhân vật
Persona — lớp danh tính của nhân vật: tên, giọng, thái độ, quá khứ, thói quen. Đây là thứ mô hình được yêu cầu nhập vai ở từng câu trả lời một.
System prompt — khối chỉ dẫn ẩn mà mô hình nhận trước khi viết bất cứ gì. Ở đây nó chứa persona, luật của cảnh đang chạy và mẩu trí nhớ dành riêng cho người đọc này.
Character card — gói mang đi được gồm persona, lời mở đầu, mô hình mặc định và các tham số sampling. Có vài định dạng thông dụng trong cộng đồng, và đó là cách nhân vật di chuyển giữa các nền tảng.
Trí nhớ, và thứ người ta hay nhầm với nó
Cửa sổ ngữ cảnh — lượng chữ tối đa mà mô hình giữ được trong đầu cho một câu trả lời. Cửa sổ lớn hơn thì tham chiếu được nhiều hơn phần trò chuyện gần đây và tốn hơn mỗi lượt gọi. Đó là một giới hạn, không phải một kho: khi cuộc trò chuyện vượt qua nó, phần cũ nhất đơn giản là rơi ra ngoài.
Trí nhớ lâu dài — những dữ kiện nhân vật giữ về bạn qua các phiên. Đây là một cơ chế hoàn toàn khác: được chọn lọc, sửa được, và được chèn vào ngữ cảnh ở mọi câu trả lời. Ở đây nó theo từng nhân vật, từng chủ đề, từng người đọc, và bạn nhìn thấy toàn bộ.
Đây là điểm phân biệt giải quyết phần lớn lời phàn nàn. Nhân vật quên một chuyện từ một tiếng trước là hiệu ứng cửa sổ ngữ cảnh. Nhân vật quên tên chị bạn là vấn đề bản ghi trí nhớ — và nếu dữ kiện đó chưa từng được viết xuống, không mô hình nào nhớ đúng được.
Token — đơn vị nhỏ nhất mà mô hình đọc và viết, xấp xỉ bốn ký tự tiếng Anh. Cửa sổ ngữ cảnh được đo bằng token, nên một giới hạn nghe có vẻ khổng lồ lại đầy nhanh hơn bạn tưởng.
Lái một cuộc trò chuyện
Nhánh, hay fork — điểm rẽ. Fork từ một câu trả lời tạo ra một mạch thay thế lớn lên song song với mạch gốc, và cả hai đều được giữ. Chính điều này khiến việc thử một hướng khác là miễn phí chứ không phá đi thứ đang có.
Regenerate — xin một phiên bản khác của câu trả lời cuối mà không đụng tới thứ gì khác. Cùng ngữ cảnh, câu trả lời mới.
Các núm vặn
Nhiệt độ — mức dễ đoán của câu trả lời. Thấp thì ổn định hơn, cao thì bất ngờ hơn. Một nhân vật có vẻ nhạt thường là vấn đề nhiệt độ chứ không phải vấn đề mô hình.
top_p, top_k, min_p — các ràng buộc lên việc mô hình được phép cân nhắc những từ tiếp theo nào. Hữu ích để chỉnh giọng điệu: dè dặt, biểu cảm, cộc lốc, dài dòng.
Repetition penalty — làm nản việc dùng lại cụm từ. Đây là cách chữa cho nhân vật cứ bốn lượt lại nói câu ruột của mình.
Phần đường ống
Model router — hạ tầng chọn một mô hình cho một cảnh từ một nhóm mô hình và chuyển sang cái khác trong im lặng khi có cái xuống sức.
Failover và circuit breaker — router cắt một nhà cung cấp đang xuống sức trước khi nó kịp làm hỏng cuộc trò chuyện bằng timeout hoặc lời từ chối, rồi đẩy lưu lượng sang một nhà cung cấp khoẻ. Khi chạy đúng thì bạn không bao giờ để ý, và đó chính là mục đích.
Quanh rìa
Telegram Stars — đơn vị thanh toán nhỏ có sẵn của Telegram, mua trong Telegram và tiêu cho các nâng cấp. Bản thân việc nạp không cần thẻ.
Link chia sẻ — một URL có theo dõi nguồn, mở thẳng cuộc trò chuyện với nhân vật của một người sáng tạo. Số Stars mà người đến qua link đó tiêu sẽ mang lại cho người sáng tạo một phần.
Topic — một luồng diễn đàn riêng trong Telegram, dùng để cho mỗi nhân vật một căn phòng riêng với lịch sử và dải ghim của riêng nó.
Cổng tuổi — bước xác nhận trong bot trước khi bật được nhập vai trưởng thành. Trang công khai là SFW; chế độ trưởng thành là tự chọn sau cổng, và các giới hạn cứng vẫn giữ nguyên.
RTL — lối viết từ phải sang trái, dùng cho tiếng Ả Rập, Do Thái và Ba Tư. Các phần giao diện được lật gương chứ không phải là chữ căn trái nằm trong một ngôn ngữ căn phải.