分子設計・材料設計・プロセス設計・プロセス管理において、分子記述子・実験条件・合成条件・製造条件・評価条件・プロセス条件・プロセス変数などの特徴量 x と分子・材料の物性・活性・特性や製品の品質などの目的変数 y との間で数理モデル y = f(x) を構築し、構築したモデルに x の値を入力して y の値を予測したり、y が目標値となる x の値を設計したりします。
モデルとして「予測性能」の高いものが望まれており、サンプル、x、モデル構築手法などの検討が行われます。一般的にモデルの予測性能というと、トレーニングデータとテストデータに分割し、テストデータをどの程度予測できるかを指すことが多いです。回帰分析でしたら決定係数R2、RMSE、MAEなど、そして実測値と予測値のプロット、クラス分類であれば正解率、精度、検出率、F値など、そして混同行列で評価します。
サンプルが少ない時は、トレーニングデータ・テストデータ分割の代わりにダブルクロスバリデーションを用いることもあります。
もちろん、モデルを使用する目的が「トレーニングデータと近いデータをなるべく正確に予測すること」であれば、モデルの「予測性能」の評価としてトレーニングデータ・テストデータ分割やダブルクロスバリデーションだけで十分です。
一方で、モデルを使用する目的が「なるべく広範囲のデータを高い精度で予測すること」であれば、モデルの適用範囲の広さもモデルの「予測性能」の一つの指標となります。
モデルの適用範囲が広いほど「予測性能」は高いと言えます。モデルの適用範囲の広さを評価する方法については、こちらに記載した通りです。
また、モデルの適用範囲と予測誤差を合わせた評価についても、こちらに書いたように可能です。
さらに、モデルの目的が「外挿を高精度に予測すること」であれば、外挿の予測誤差もモデルの「予測性能」の一つになります。外挿についてはこちらに書いた通りであり、
また外挿の予測誤差の評価方法も、こちらに記載したように可能です。
このように「モデルの予測性能」と言っても様々な視点から語られるため、構築するモデルの目的に応じて適切に評価することが重要です。モデル自体やモデルの目的が特殊な場合には、評価方法から考える必要があることもあります。ぜひ、モデルを用いる目的に応じて適切に予測性能を議論していただければと思います。
以上です。
質問やコメントなどありましたら、X, facebook, メールなどでご連絡いただけるとうれしいです。
