De meeste van deze woorden komen uit onderzoekspapers en zijn nooit vertaald. Zes ervan kennen maakt van een chat die zich raadselachtig gedraagt een probleem dat je kunt lokaliseren.
De twee die je het eerst wilt leren zijn context window en blijvend geheugen, want bijna elke klacht die begint met «het personage vergat» komt neer op het verwarren van die twee.
Het personage zelf
Persona — de identiteitslaag van het personage: naam, stem, houding, geschiedenis, maniertjes. Dit is wat het model bij elk afzonderlijk antwoord moet belichamen.
System prompt — het verborgen instructieblok dat het model ontvangt voordat het iets genereert. Hier bevat het de persona, de geldende scèneregels en het geheugenfragment voor deze specifieke lezer.
Character card — een draagbaar pakket met persona, openingsbericht, standaardmodel en sampling-parameters. Er bestaan meerdere gangbare formaten, en zo verhuizen personages tussen platforms.
Geheugen, en waar mensen het mee verwarren
Context window — de maximale hoeveelheid tekst die een model voor één antwoord in gedachten kan houden. Grotere vensters betrekken meer van het recente gesprek en kosten meer per aanroep. Het is een grens, geen opslag: loopt een gesprek eroverheen, dan valt het oudste deel er simpelweg uit.
Blijvend geheugen — feiten die een personage over je bewaart, over sessies heen. Dat is een compleet ander mechanisme: samengesteld, bewerkbaar, en bij elk antwoord in de context gezet. Hier is het per personage, per topic, per lezer, en volledig zichtbaar voor jou.
Dit onderscheid lost de meeste klachten op. Een personage dat iets van een uur geleden vergeet, is een effect van het context window. Een personage dat de naam van je zus vergeet, is een probleem met het geheugenrecord — en als het feit nooit is opgeschreven, haalt geen enkel model het correct terug.
Token — de atomaire eenheid die een model leest en schrijft, ruwweg vier tekens Engels. Context windows worden in tokens gemeten, en daarom loopt een grens die enorm klinkt sneller vol dan verwacht.
Een gesprek sturen
Branch, of fork — een vertakkingspunt. Vertakken vanaf een antwoord maakt een alternatieve draad die naast het origineel doorgroeit, en beide blijven bewaard. Daardoor is een andere richting proberen gratis in plaats van destructief.
Regenerate — om een andere versie van het laatste antwoord vragen zonder aan iets anders te komen. Dezelfde context, een nieuw antwoord.
De knoppen
Temperature — hoe voorspelbaar de antwoorden zijn. Lager is stabieler, hoger is verrassender. Een personage dat vlak aanvoelt, is vaker een temperature-probleem dan een modelprobleem.
top_p, top_k, min_p — beperkingen op welke kandidaten voor het volgende woord het model überhaupt overweegt. Handig om het register af te stellen: voorzichtig, expressief, kortaf, breedsprakig.
Repetition penalty — ontmoedigt het hergebruiken van formuleringen. Dit is de oplossing voor een personage dat elk vierde antwoord zijn lievelingszin zegt.
Het leidingwerk
Modelrouter — de infrastructuur die uit een groep een model voor een scène kiest en geruisloos overschakelt wanneer er een verzwakt.
Failover en circuit breaker — de router die een verzwakkende aanbieder afsluit voordat die een gesprek kan vergiftigen met time-outs of weigeringen, en het verkeer naar een gezonde stuurt. Werkt dit goed, dan merk je het nooit, en dat is precies de bedoeling.
Aan de randen
Telegram Stars — Telegrams ingebouwde eenheid voor microbetalingen, gekocht binnen Telegram en uitgegeven aan upgrades. Voor het bijvullen zelf is geen kaart nodig.
Deellink — een URL met attributietracking die een chat met het personage van een maker opent. Stars die worden uitgegeven door mensen die er binnenkomen, leveren de maker een deel op.
Topic — een eigen forumdraad in Telegram, gebruikt om elk personage een eigen kamer te geven met eigen geschiedenis en eigen vastgezette berichten.
Leeftijdscontrole — de verificatiestap in de bot voordat volwassen rollenspel kan worden ingeschakeld. De openbare site is SFW; volwassen modus is opt-in na de controle, en harde grenzen blijven hoe dan ook staan.
RTL — schrift van rechts naar links, gebruikt voor Arabisch, Hebreeuws en Perzisch. Interface-elementen spiegelen mee in plaats van links uitgelijnde tekst in een rechts uitgelijnde taal te zijn.