会議で出た案を全部は検討せず、有力な案だけを箱に残して、そこから一つ選ぶ。Top-p は、LLM が次に出す言葉を、この有力な候補の箱から選ばせるための設定です。
LLM は、次に来そうな言葉の候補それぞれに、確率を付けています。Top-p は、確率の高い候補から順に足していき、その合計が決めた値に届くまでを候補として残します。
たとえば値を小さくすれば、ごく有力な候補だけが残る。そのため、状況によって残る候補の数は増えたり減ったりし、有力でない候補は早めに外れます。答えのぶれを少し抑えつつ、不自然に固まるのも避けたい、同じ質問への答えが散らばりすぎるのを防ぎたい、といったときに使われます。
ただし、Top-p は候補の残し方を変える設定で、事実の確認や、指示の足りない部分を補ってくれるものではありません。事実が重要な業務では、候補を広げすぎないほうが安定しやすくなります。
Temperature と一緒に触るとき
似た設定に Temperature があります。Temperature が全体のばらつきの大きさを調整するのに対して、Top-p は選択肢として残す範囲を調整します。
両方を同時に大きく変えると、どちらが効いたのか分からなくなります。まずは片方を固定し、もう片方だけを動かして結果を比べるのが安全です。
設定を試すときは、評価の間は値を固定しておかないと比べられません。創作的な用途でも同じです。モデルによって挙動に差があるので、あるモデルでうまくいった値を、そのまま別のモデルへ持ち込まないようにしましょう。