サポートベクター回帰(Support Vector Regression, SVR)~サンプル数10000以下ならこれを使うべし!~

サポートベクター回帰(Support Vector Regression, SVR)について、pdfとパワーポイントの資料を作成しました。データセットが与えられたときに、SVRで何ができるか、SVRの特徴、どのように計算するかが説明されています。pdfもスライドも自由にご利用ください

pdfファイルはこちらから、パワーポイント(pptx)ファイルはこちらからダウンロードできます。

興味のある方はぜひ参考にしていただき、どこかで使いたい方は遠慮なくご利用ください。

ちなみに、SVRのハイパーパラメータ C・ε・γ を高速に最適化する方法はこちらです。

[Pythonコードあり] サポートベクター回帰(Support Vector Regression, SVR)のハイパーパラメータを高速に最適化する方法
サポートベクター回帰 (Support Vector Regression, SVR) は、こちら:サポートベクター回帰(Support Vector Regression, SVR)~サンプル数10000以下ならこれを使うべし!~ にある...

SVRの概要

  • 線形の回帰分析手法
  • サポートベクターマシン (SVM) を回帰分析に応用
  • 目的変数の誤差に加えて、それぞれ以下の項を最小化することで、過学習を防ぐ
  • リッジ回帰 (RR)・LASSO・Elastic Net (EN) と同じ
  • 誤差に不感帯を設けることでノイズの影響を受けにくい
  • カーネルトリックにより非線形の回帰モデルに

スライドのタイトル

  • サポートベクター回帰 (SVR) とは?
  • 基本的にSVRは線形の回帰分析手法
  • 回帰係数 b
  • 非線形の回帰モデルへ
  • SVMとSVRとの比較
  • SVRの誤差関数
  • スラック変数
  • RR・LASSO・EN との関係
  • Lagrangeの未定乗数法
  • 偏微分して0
  • G の変形
  • カーネル関数の例
  • α を求める
  • 二次計画問題
  • SVRの回帰式
  • サポートベクターとは
  • c の計算
  • SVRのまとめ・特徴
  • C, ε, γ の決め方

参考資料

  • C.M. ビショップ,パターン認識と機械学習 下, 丸善出版 (2012)

SVRのPythonのプログラムは、こちらの課題16をご参照ください。

以上です。

質問・コメントがありましたら、twitter・facebook・メールなどを通して教えていただけるとうれしいです。

タイトルとURLをコピーしました