Kapcsolat

Token (nyelvi modell)

Kategória
Mesterséges intelligencia
Angolul
Token (language model)
Szócikk
84 / 90

Röviden: Mi az a token (nyelvi modell)?

A token a nyelvi modell által feldolgozott szövegegység (szó, szótöredék vagy írásjel), amelyben a modell a bemenetet és a kimenetet méri.

Magyarázat

A modell a szöveget nem betűnként vagy szavanként, hanem tokenekre bontva kezeli. Egy gyakori rövid szó lehet egyetlen token, egy hosszabb vagy ritkább szó több darabra esik szét; a ragozó nyelvek, így a magyar, jellemzően több tokent igényelnek.

A token gyakorlati jelentősége kettős: a szolgáltatók ebben számolják a díjat, és ebben adják meg a kontextusablak méretét, vagyis azt, mennyi szöveget lát egyszerre a modell.

Példa: ha egy hosszú szerződés nem fér bele a kontextusablakba, a rendszer részekre bontja, vagy csak a kérdéshez tartozó szakaszokat adja át a modellnek.

Az összes fogalom A-tól Z-ig

Van egy ötlete vagy egy megoldandó feladata?

Beszéljünk