会議の机に一度に広げられる資料の枚数には、限りがあります。コンテキストウィンドウは、LLM にとってのこの机の広さで、一度に読み込んで扱える情報の量の上限です。長い会話を覚えていられるか、大量の資料を一度に渡せるかは、ここで決まります。
机が足りなくなる場面
- 長い議事録を、丸ごと要約させたい
- 会話の履歴をたくさん覚えておいてほしい
- 大量の資料を一気に読ませたい
- 出力の形式を細かく指示しつつ、参照させる文書も長い
こうしたときに、机の広さが問題になります。
広い机ほど、探し物は埋もれる
机が広ければ、たくさんの資料を並べられます。でも、関係のない資料まで広げてしまえば、肝心の1枚を見つけにくくなる。コンテキストウィンドウも同じで、広さは中身の理解や正確さを保証しません。不要な情報まで混ざると、かえって答えの焦点がぼやけることがあります。
渡す資料のほうを設計する
大量に投げ込むより、必要な情報に絞るほうが効く場面は少なくありません。長い文章をそのまま入れず、必要な部分を選んで渡す。指示と資料のどちらを優先させるかを決めておく。入れる量が増えれば、そのぶん費用も待ち時間も増えるので、そのバランスも見ます。
長い入力にどこまで耐えられるかは、モデルの説明書きより、自社の実際のデータで評価して確かめるのが確実です。