データ分析担当
東京本社のデータで作った需要予測、精度が高かったので全国の拠点に展開しましょう。
あなた
東京で当たっていたなら、大阪でも当たりますよね？
そこが確かめどころです。汎化は、AIモデルが学習で見たデータ以外の、初めて出会うデータに対しても適切に動く能力を指します。実際の業務で使えるかどうかは、ほぼこの力で決まります。
習った原理原則を使って、見たことのない応用問題にも答えられる。丸暗記ではなく、仕組みを理解している状態です。学習データにだけ合わせ込みすぎて、この力が損なわれた状態が過学習です。学習データへの当てはまりと汎化のバランスは、モデル開発で常に問題になります。
「よそでも通用するか」は、よそのデータでしか分からない
汎化できているかどうかは、学習に使ったのとは違う、多様なデータで試すことでしか確かめられません。確認が必要になるのは、たとえば次のような場面です。
- 特定の部署や時期のデータだけで作ったモデルを、全社に広げるとき
- 季節、地域、担当者が変わっても、同じ精度を出してほしいとき
- ファインチューニングや LoRA で調整したあと、本番のデータでも機能するかを見るとき
一時期、一部署のデータだけで評価しても、汎化の確認にはなりません。データの偏りが大きいなら、意図的にいろいろな条件のサンプルを集めます。ベンチマークの点数が高くても、自社の業務データで試すまでは安心できません。学習した環境と本番の環境のデータが離れているほど、ここで手を抜くと現場で期待外れになります。