Większość tych słów przyjechała z prac naukowych i nigdy nie została przetłumaczona. Znajomość sześciu z nich zamienia czat, który w tajemniczy sposób się psuje, w problem, który potrafisz zlokalizować.
Dwa warte nauczenia się na początek to okno kontekstu i trwała pamięć, bo niemal każda skarga zaczynająca się od «postać zapomniała» sprowadza się do pomylenia ich ze sobą.
Sama postać
Persona — warstwa tożsamości postaci: imię, głos, nastawienie, przeszłość, maniery. To właśnie model ma wcielać w każdej pojedynczej odpowiedzi.
Prompt systemowy — ukryty blok instrukcji, który model dostaje, zanim cokolwiek wygeneruje. Tutaj zawiera personę, zasady aktywnej sceny i fragment pamięci dotyczący tego konkretnego czytelnika.
Karta postaci — przenośna paczka z personą, wiadomością otwierającą, domyślnym modelem i parametrami samplingu. Istnieje kilka społecznościowych formatów i to dzięki nim postacie przenoszą się między platformami.
Pamięć i to, co bierze się za nią
Okno kontekstu — maksymalna ilość tekstu, jaką model może mieć na oku przy jednej odpowiedzi. Większe okna sięgają dalej w niedawną rozmowę i kosztują więcej za wywołanie. To limit, a nie magazyn: gdy rozmowa go przekroczy, najstarsza część po prostu wypada.
Trwała pamięć — fakty, które postać przechowuje o tobie między sesjami. To zupełnie inny mechanizm: wyselekcjonowany, edytowalny i wstrzykiwany do kontekstu przy każdej odpowiedzi. Tutaj jest osobna dla postaci, dla wątku i dla czytelnika, i w pełni widoczna dla ciebie.
To właśnie ta różnica rozstrzyga większość skarg. Postać, która zapomina coś sprzed godziny, to efekt okna kontekstu. Postać, która zapomina imię twojej siostry, to problem zapisu w pamięci — a jeśli faktu nigdy nie zapisano, żaden model nie przypomni go sobie poprawnie.
Token — najmniejsza jednostka, którą model czyta i pisze, mniej więcej cztery znaki angielskiego tekstu. Okna kontekstu mierzy się w tokenach i dlatego limit, który brzmi ogromnie, zapełnia się szybciej, niż się spodziewasz.
Sterowanie rozmową
Gałąź, czyli rozgałęzienie — punkt rozejścia się. Rozgałęzienie od jakiejś odpowiedzi tworzy alternatywny wątek, który rośnie obok oryginalnego, i oba zostają zachowane. To właśnie sprawia, że spróbowanie innego kierunku jest darmowe, a nie niszczące.
Wygenerowanie od nowa — poproszenie o inną wersję ostatniej odpowiedzi bez ruszania czegokolwiek innego. Ten sam kontekst, nowa odpowiedź.
Pokrętła
Temperatura — jak przewidywalne są odpowiedzi. Niżej znaczy równiej, wyżej znaczy bardziej zaskakująco. Postać, która wydaje się płaska, to najczęściej problem temperatury, a nie modelu.
top_p, top_k, min_p — ograniczenia tego, które kandydujące kolejne słowa model w ogóle bierze pod uwagę. Przydatne do strojenia rejestru: ostrożny, ekspresyjny, zwięzły, rozwlekły.
Kara za powtórzenia — zniechęca do powtarzania tych samych zwrotów. To lekarstwo na postać, która co czwartą odpowiedź wygłasza swoje ulubione zdanie.
Hydraulika
Router modeli — infrastruktura, która wybiera model do sceny z dostępnej puli i po cichu przełącza się, gdy któryś zaczyna niedomagać.
Failover i bezpiecznik — router odcina niedomagającego dostawcę, zanim ten zatruje rozmowę przeciągającym się oczekiwaniem albo odmowami, i kieruje ruch do zdrowego. Gdy to działa, nigdy tego nie zauważasz — i o to właśnie chodzi.
Na obrzeżach
Telegram Stars — wbudowana w Telegram jednostka mikropłatności, kupowana wewnątrz Telegrama i wydawana na rozszerzenia. Do samego doładowania nie potrzeba karty.
Link polecający — adres z rozliczaną atrybucją, który otwiera rozmowę z postacią danego twórcy. Stars wydane przez osoby, które przyszły tą drogą, dają twórcy udział.
Wątek — dedykowany wątek forum w Telegramie, używany po to, by dać każdej postaci własny pokój z własną historią i własnym paskiem przypiętych wiadomości.
Bramka wieku — krok weryfikacji w samym bocie, zanim da się włączyć RPG dla dorosłych. Publiczna strona jest bez treści dla dorosłych; tryb dla dorosłych włącza się dobrowolnie po weryfikacji, a twarde granice zostają niezależnie od tego.
RTL — pismo od prawej do lewej, używane w arabskim, hebrajskim i perskim. Elementy interfejsu są lustrzanie odbijane, a nie zostawiane jako tekst wyrównany do lewej w języku wyrównanym do prawej.