分子設計・材料設計・プロセス設計・プロセス管理において、分子記述子・実験条件・合成条件・製造条件・評価条件・プロセス条件・プロセス変数などの特徴量 x と分子・材料の物性・活性・特性や製品の品質などの目的変数 y との間で数理モデル y = f(x) を構築し、構築したモデルに x の値を入力して y の値を予測したり、y が目標値となる x の値を設計したりします。
モデル、特に回帰モデルの予測性能を議論する際に、決定係数 r2 が用いられます。同じサンプル群において r2 が大きい方が、y のばらつきをモデルによる予測値が説明している割合が高いと言えます。ただし、あくまで r2 の値を比較できるのは、y およびサンプル群が全く同じである状況のみです。
r2 を計算する際の実測値が全く同じで、予測値を計算するモデルが異なる場合にのみ、モデル間の r2 を比較できます。仮に物性 A の r2 よりも物性 B の r2 が大きかったとしても、物性 B の方が精度の高いモデルであるとは言えません。
r2 がモデル間を比較するための指標です。r2 の絶対値に意味があるわけではありません。もちろん「データセットにおける y のばらつきの何割を説明できたか」といった r2 自体の解釈は可能ですが、サンプルのばらつきが変わる以上、その割合自体に特別な意味はありません。r2 が例えば 0.999 であったとしても、それだけでは、良いモデル・実用的なモデルであるとは言えない、という結論もあり得ます。
絶対的にそのモデルが良いか、もしくは実用的かといった議論をする際には、y のサンプル全ての実測値と予測値の関係を確認し、「どの程度実用的か」といった観点から結果を議論したり、新たな指標を設計したりする必要があります。例えば MAE（Mean Absolute Error）は絶対誤差の平均を表し、意味のある指標に見えますが、「絶対誤差の平均がある値より小さければモデルは実用的と言えるのか」、「(例えば) 絶対誤差の最大値については議論しなくて良いのか」といった観点も重要です。
モデルの予測性能を議論する際には、r2 をはじめとする統計量の扱いに注意する必要があります。
以上です。
質問やコメントなどありましたら、X, facebook, メールなどでご連絡いただけるとうれしいです。
