Всяка дума, която AI чете, се къса на малки парченца - и на всяко парченце плащаш. Разбери защо машината понякога 'забравя' какво си казал в началото.
Представи си брояч на такси. Не мери по цял километър - тиктака на всяка малка отсечка, и за всяка отсечка плащаш. Токенът е тази малка отсечка, само че за думи. Не е цяла дума и не е буква - някъде по средата. 'Разговаряме' например се чупи на две-три парчета, не остава цяла. Моделът не чете изречения - чете поредица от такива парченца, и на всяко едно тиктака брояч.
Контекстният прозорец е нещо друго - колко от разговора ти вижда броячът в момента, докато шофьорът кара. Не целия маршрут от началото на деня, а само последния отрязък. Стигне ли края на прозореца, най-старото пада извън обхвата му. Не защото е забравил нарочно - просто мястото е свършило и нещо е трябвало да отпадне.
Затова, ако водиш дълъг разговор с AI асистент - да речем планираш сватба и на петдесетото съобщение пишеш 'а салона, дето го избрахме в началото' - той може да не знае за кой салон говориш. Не защото е глупав. Защото това съобщение отдавна е паднало извън прозореца му. Той вижда само скорошния отрязък от разговора, не целия ден.
Точно затова цените се обявяват 'на милион токена' - всяко парченце струва частица от стотинка, и трябва да ги съберат на камара, за да излезе смислено число. Все едно да ти дадат цената на брояча накуп, за хиляда тиктакания наведнъж, вместо на всяко поотделно.
Ето какво не се казва
Хората мислят, че плащат само за отговора. Не е така. Всеки път, когато AI-ят ти отговори, той пред себе си е 'прочел' наново целия разговор до момента - твоите въпроси, неговите предишни отговори, всичко в прозореца. Броячът върви и за препрочитането, не само за новото. Затова дългите разговори без пауза стават скъпи сами по себе си - без ти да си направил нищо повече от това да продължаваш да питаш.
Аз затова режа разговорите на парчета, вместо да влача един безкраен чат седмици наред. Не е каприз - това е как пестиш и пари, и си пазиш смисъла. Празен прозорец с ясен въпрос върши повече работа от претъпкан прозорец, в който машината рови през купчина стари реплики, за да намери твоята мисъл.