分子設計・材料設計・プロセス設計・プロセス管理において、分子記述子・実験条件・合成条件・製造条件・評価条件・プロセス条件・プロセス変数などの特徴量 x と分子・材料の物性・活性・特性や製品の品質などの目的変数 y との間で数理モデル y = f(x) を構築し、構築したモデルに x の値を入力して y の値を予測したり、y が目標値となる x の値を設計したりします。
モデルの予測精度を評価するために、トレーニングデータとテストデータに分割し、トレーニングデータで構築されたモデルを用いてテストデータを予測し、”正解” と比較して検証します。サンプルが少ない時には、トレーニングデータとテストデータに分割すると、トレーニングデータもテストデータもサンプル数がさらに小さくなってしまうため、モデルの予測精度の評価にダブルクロスバリデーション (DCV) が用いられます。
DCV では、トレーニングデータで構築されたモデルを用いてテストデータを予測することを繰り返します。テストデータのサンプル数を 1 とすることで、トレーニングデータのサンプル数を、テストデータを予測する上で最大にしてモデル構築ができ、それを繰り返すことで全てのサンプルをテストデータにできます。
トレーニングデータでモデル構築することを繰り返すため、繰り返しごとにクロスバリデーションを行い、ハイパーパラメータを最適化します。トレーニングデータごとに、最適化されたハイパーパラメータは異なることがありますが、これは全く問題ありません。こちらで説明したように、
DCV では適切にハイパーパラメータを抑えることができるかを含めた手法の予測精度を評価しています。DCV で予測精度の高かった手法を使うことで、クロスバリデーションで適切にハイパーパラメータを決めることができることも確認できるため、最終的に使用するモデルを構築するときには、データセットの全てのサンプルを用いてクロスバリデーションでハイパーパラメータを改めて決めます。これが最終的に用いるハイパーパラメータとなり、モデルを構築します。
ちなみに、トレーニングデータ・テストデータ分割でもトレーニングデータでクロスバリデーションを用いたハイパーパラメータを最適化しますが、これはあくまでモデルの予測精度を評価するために用いる一時的なハイパーパラメータです。予測精度が高いとして選択された手法を用いて最終的に用いるモデルを構築する際には、DCV で評価して最終的に採用する手法と同じようにして、データセットの全てのサンプルを用いてクロスバリデーションで改めてハイパーパラメータを決めます。
モデル構築を検討する際に、モデルの予測精度を評価することは必須事項です。トレーニングデータ・テストデータ分割でもDCV でも、上の内容に注意しながらモデルの予測精度を評価をしたり、最終的に用いるモデルを構築したりしましょう。
以上です。
質問やコメントなどありましたら、X, facebook, メールなどでご連絡いただけるとうれしいです。
