Token (nyelvi modell)
Röviden: Mi az a token (nyelvi modell)?
A token a nyelvi modell által feldolgozott szövegegység (szó, szótöredék vagy írásjel), amelyben a modell a bemenetet és a kimenetet méri.
Magyarázat
A modell a szöveget nem betűnként vagy szavanként, hanem tokenekre bontva kezeli. Egy gyakori rövid szó lehet egyetlen token, egy hosszabb vagy ritkább szó több darabra esik szét; a ragozó nyelvek, így a magyar, jellemzően több tokent igényelnek.
A token gyakorlati jelentősége kettős: a szolgáltatók ebben számolják a díjat, és ebben adják meg a kontextusablak méretét, vagyis azt, mennyi szöveget lát egyszerre a modell.
Példa: ha egy hosszú szerződés nem fér bele a kontextusablakba, a rendszer részekre bontja, vagy csak a kérdéshez tartozó szakaszokat adja át a modellnek.