分子設計・材料設計・プロセス設計・プロセス管理において、分子記述子・実験条件・合成条件・製造条件・評価条件・プロセス条件・プロセス変数などの特徴量 x と分子・材料の物性・活性・特性や製品の品質などの目的変数 y との間で数理モデル y = f(x) を構築し、構築したモデルに x の値を入力して y の値を予測したり、y が目標値となる x の値を設計したりします。
モデル構築の検討の一環として、トレーニングデータとテストデータにデータセットを分割してトレーニングデータで構築されたモデルの予測性能をテストデータで評価したり、ダブルクロスバリデーションでモデルの予測性能を評価したりします。
ここで、テストデータやダブルクロスバリデーションで評価しているのは、多くの場合で、いわゆる何らかの数式ではありません。もちろん、最小二乗法による線形重回帰分析では、トレーニングデータを用いて1つの数式が得られ、その数式をテストデータで評価していると言えます。ただし、ダブルクロスバリデーションでは、分割したグループごとに数式が異なるため、何か一つの数式を評価しているわけではありません。また、ハイパーパラメータのある例えばサポートベクター回帰では、
トレーニングデータでモデルを構築すると言っても、ハイパーパラメータの値が異なれば異なる数式が構築されます。
テストデータやダブルクロスバリデーションでは、何らかの数式ではなく、数式の構築の仕方を評価しています。例えば、サポートベクター回帰では、ハイパーパラメータの最適化の仕方を含めて、サポートベクター回帰による数式の構築の仕方を評価しています。上の最小二乗法による線形重回帰分析でも、結果的にトレーニングデータで一つの数式が導出されることになりますが、評価しているのは最小二乗法による線形重回帰分析で回帰係数を求めることです。
サポートベクター回帰の方が、テストデータの評価結果が良好だったとしたら、「最小二乗法による線形重回帰分析」ではなく、「サポートベクター回帰でクロスバリデーションによりハイパーパラメータを最適化して得られたハイパーパラメータを用いてサポートベクター回帰で数式を構築すること」が選ばれたといえます。そのため、サポートベクター回帰が選ばれた後に、改めて全てのサンプルでモデルを構築する時には、ハイパーパラメータの最適化を含めて、改めてモデルを構築することになります。ハイパーパラメータはすでにトレーニングデータで最適化されたものを用いるというわけではなく、ハイパーパラメータの最適化を含めて、トレーニングデータで行ったことを最初から最後まで同じことをする必要があります。
もちろん最小二乗法による線形重回帰分析とサポートベクター回帰はあくまで例であり、他もの様々な回帰分析手法をテストデータやダブルクロスバリデーションで比較することになります。
他にも、例えば適応型ソフトセンサーの評価では、時系列に並べたサンプルに対して、前半をトレーニングデータ、後半をテストデータとして分割し、テストデータを予測する時には、y の測定にかかる時間を考慮した上で時間的に古いテストデータをモデル構築用データに追加しながらモデルを再構築し、予測することで、適応型ソフトセンサーの評価をしています。この時、評価しているのは、適応型ソフトセンサーに使用した方法です。どのようなアルゴリズムでモデルを再構築したのか、モデル構築に用いたサンプル数はいくつか、といったことを含めて、テストデータで評価しています。そのため、テストデータを精度よく予測できた適応型ソフトセンサーを実機で使用する時には、テストデータを予測した時に用いたモデルの再構築の仕方やサンプル数をそのまま使用することになります。
以上のように、テストデータやダブルクロスバリエーションでは、何らかの一つの数式を評価しているわけではなく、ハイパーパラメータの最適化の方法を含めた数式の構築の仕方を評価しています。そのため、例えば、ハイパーパラメータの最適化の仕方が異なる回帰分析手法を別の手法として検討するといったことも可能です。
以上です。
質問やコメントなどありましたら、X, facebook, メールなどでご連絡いただけるとうれしいです。
