LLMのトークンとコンテキストウィンドウ
大規模言語モデル(LLM)が一度のやり取りで入力・出力を合わせて記憶し処理できる最大テキスト量の枠を何と呼ぶか。
正解と詳しい解説・ひっかけポイントを見る
正解:ア(コンテキストウィンドウ)
LLMは文章を「トークン」という細かい単位に分割して処理します。一度に扱えるトークンの上限枠が「コンテキストウィンドウ」です。長文PDFを丸ごと読ませる性能はこの広さに左右されます。
本番で狙われるひっかけポイント
応答速度(レイテンシ)や処理量(スループット)と混同しないこと。一度に覚えていられる「文脈の窓」がコンテキストウィンドウ。
全選択肢の解説
- ア. コンテキストウィンドウ:モデルが1回の推論で参照できるトークン数の上限。これを超えると古い会話や文書の前半が参照できなくなる。
- イ. スループット:単位時間あたりにシステムが処理できる仕事量を表す性能指標。
- ウ. レイテンシ:要求を出してから最初の応答が返るまでの遅延時間。
- エ. キャッシュメモリ:CPUと主記憶装置の速度差を埋める高速なハードウェアメモリ。