クロスバリデーションとダブルクロスバリデーションの整理

シェアする

言葉の似ているクロスバリデーションとダブルクロスバリデーションですが、意味合いが異なります。

ダブルクロスバリデーション(モデルクロスバリデーション)でテストデータいらず~サンプルが少ないときのモデル検証~
回帰モデルやクラス分類モデルを検証するときの話です。 モデルの検証 一般的には、データセットが与えられたとき、サンプルをモデル構築用サン...

目的の違いとして、クロスバリデーションの目的は PLS における主成分の数や SVR における C, ε, γ といったハイパーパラメータを最適化することです。

部分的最小二乗回帰(Partial Least Squares Regression, PLS)~回帰分析は最初にこれ!~
部分的最小二乗回帰 (Partial Least Squares Regression, PLS) について、pdfとパワーポイントの資料を...
サポートベクター回帰(Support Vector Regression, SVR)~サンプル数10000以下ならこれを使うべし!~
サポートベクター回帰(Support Vector Regression, SVR)について、pdfとパワーポイントの資料を作成しました。デ...

ハイパーパラメータの候補を変えながらクロスバリケーションを行い、クロスバリデーション後の予測性能が最も高いハイパーパラメータの候補を選択します。一方で、ダブルクロスバリデーションは手法を選択するために用います。PLS や SVR といった手法ごとにダブルクロスバリデーションを行い、ダブルクロスバリテーション後の予測精度を比較して最も高い手法を使用します。

この手法の比較のために、どうしてクロスバリデーションを使用してはいけないかというと、手法ごとにハイパーパラメータの候補の数に差があるためです。主成分の数しかハイパーパラメータがない PLS に比べて、三つのハイパーパラメータのある SVR の方が、ハイパーパラメータの候補が多く、そのたくさんの候補の中から、クロスバリデーションの結果がベストな候補を選択できるため、PLS のクロスバリデーションの予測精度と比較して、SVR のクロスバリデーションの予測精度の方が上がりやすいです。そのためクロスバリデーションは手法の比較に使用することはできません。

一般的に手法の比較は、データセットをトレーニングデータとテストデータに分割して、トレーニングデータを用いてクロスバリデーションでハイパーパラメータを最適化してからモデルを構築し、テストデータを予測してその予測性能を評価しますが、ダブルクロスバリデーションはその方法の代わりに、特にデータセットのサンプル数が小さいときに使用します。

なおダブルクロスバリデーションの中でクロスバリデーションが行われており、ダブルクロスバリデーションでは (用いているデータセットで) ハイパーパラメータの最適化を適切に行える手法かどうかも、ダブルクロスバリデーションでは評価されます。あくまでトレーニングデータとテストデータに分けてテストデータで評価することや、ダブルクロスバリデーションは手法間で比較するときに使用します。

ただし、ダブルクロスバリデーション = クロスバリデーションとなるときがあります。それは手法のハイパーパラメータがないときです。ハイパーパラメータがなければ、ハイパーパラメータの最適化にクロスバリデーションを使用する必要がありません。そのためダブルクロスバリデーションの中でクロスバリデーションをしなくなるため、クロスバリデーション = ダブルクロスバリデーションとなります。例えば、OLS ではハイパーパラメータがありませんので、ダブルクロスバリデーション = クロスバリデーションになります。

最小二乗法による線形重回帰分析~人工知能・機械学習・統計の基礎の基礎~
最小二乗法による線形重回帰分析について、pdfとパワーポイントの資料を作成しました。目的変数と説明変数とのデータセットが与えられたときに、ど...

また、GPR でもカーネル関数を一つ決めてしまえば、他にパラメータありますが、クロスバリデーションではなく、最尤推定法により求められるため、ダブルクロスバリデーション = クロスバリデーションになります。

ガウス過程回帰(Gaussian Process Regression, GPR)~予測値だけでなく予測値のばらつきも計算できる!~
ガウス過程による回帰(Gaussian Process Regression, GPR)について、pdfとパワーポイントの資料を作成しました...

つまり、OLS やカーネル関数が決まっている GPR においてクロスバリデーションで予測精度を評価することで、他の手法におけるダブルクロスバリデーションによる評価結果と同等に比較できるわけです。

以上のクロスバリデーションやダブルクロスバリデーションの特徴をふまえて、それぞれの目的や使用用途について理解が深まると幸いです。

以上です。

質問やコメントなどありましたら、twitter, facebook, メールなどでご連絡いただけるとうれしいです。

シェアする

フォローする