分子設計・材料設計・プロセス設計・プロセス管理において、分子記述子・合成条件・製造条件・評価条件・プロセス条件・プロセス変数などの x と材料の物性・発生・特性や製品品質などの y との間で数理モデル y = f(x) を構築し、そのモデルを用いて x から y を予測したり、y が目標値となる x を設計したりします。
数理モデルを活用するにあたり、予測精度の高いモデルを構築することが重要です。そのため様々な手法で回帰分析やクラス分類を行います。回帰分析手法やクラス分類手法には様々な手法があり、どんなデータセットにも当てはまるベストな手法があるわけではありません。ご自身のデータセットに合わせて適切な手法を取捨選択しなければいけません。
手法を検討するために、用いるデータセットに対する各手法の予測性能を適切に評価する必要があります。評価する方法には、主にトレーニングデータとテストデータに分割してテストデータに対する予測性能を評価する方法、クロスバリデーション、ダブルクロスバリデーション、Out-Of-Bag (OOB) を用いる方法があります。これらの使用用途を整理すると以下のようになります。
- 回帰分析手法・クラス分類手法のハイパーパラメータを決めるための方法
- クロスバリデーション
- OOB を用いる方法
- 回帰分析手法・クラス分類手法を決めるための方法
- テストデータを用いる方法
- ダブルクロスバリデーション
なお、OOB を用いる方法は、どんな回帰分析手法・クラス分類手法でも適用できるわけではなく、アンサンブル学習 (特にサンプル方向のバギングやジャックナイフを含む方法) に限られます。アンサンブル学習を用いるとの裏技と考えるのがよいでしょう。
それぞれの方法で評価するときに、簡便に比較できるように用いられる指標もあります。これは回帰分析とクラス分類で分類できます。
- 回帰分析
- r2
- RMSE
- MAE
- ・・・
- クラス分類
- 正解率
- 精度
- 検出率
- F値
- AUC
- ・・・
これらの指標は、あくまで評価した結果を 「比較するための指標」 であり、相対評価するときのみ使用できます。これらの値がいくつ以上、もしくはいくつ以下だったら予測精度が高い、といった絶対評価に使用することはできませんので、ご注意ください。
絶対評価する場合は、回帰分析では y の実測値 vs. 推定値のプロット、クラス分類では混同行列を見て、詳細に検討する必要があります。
以上です。回帰分析やクラス分類をするときの参考になれば幸いです。
以上です。
質問やコメントなどありましたら、twitter, facebook, メールなどでご連絡いただけるとうれしいです。
