技術/開発

トークン

とーくん

生成AIが文章を処理する際の最小単位。料金や入力上限は文字数ではなくこの単位で数える。色や余白に名前を付けるカラートークンとは別概念。

意味解説

専門家向け解説

英語ではおよそ単語一つ、日本語では一文字が一つ以上に分割されることが多く、同じ文字数でも言語で消費量が変わる。要点は、一度に扱える上限を超えると古い部分から情報が失われるため、長い資料をまとめて渡すと前半が効かなくなる点。落とし穴は、料金の試算を文字数で行い実際と乖離すること。発注側は従量課金の見積もり根拠を確認し、提供側は分割して渡す設計を前提に置く。

クライアント向け説明

AIが文章を数えるときの単位です。料金や、一度に渡せる分量の上限は、文字数ではなくこの単位で決まります。長い資料はそのまま渡すと前半が抜け落ちることがあるため、分けてお渡しする設計にして進めています。料金の試算も、文字数ではなくこの単位で行います。

監修

masaki sukeda.

masaki sukeda.

別のキーワードで探す