サポートベクター回帰(Support Vector Regression, SVR)について、pdfとパワーポイントの資料を作成しました。データセットが与えられたときに、SVRで何ができるか、SVRの特徴、どのように計算するかが説明されています。pdfもスライドも自由にご利用ください。

pdfファイルはこちらから、パワーポイント(pptx)ファイルはこちらからダウンロードできます。

興味のある方はぜひ参考にしていただき、どこかで使いたい方は遠慮なくご利用ください。

ちなみに、SVRのハイパーパラメータ C・ε・γ を高速に最適化する方法はこちらです。

[Pythonコードあり] サポートベクター回帰(Support Vector Regression, SVR)のハイパーパラメータを高速に最適化する方法

サポートベクター回帰 (Support Vector Regression, SVR) は、こちら：サポートベクター回帰(Support Vector Regression, SVR)～サンプル数10000以下ならこれを使うべし！～ にある...

datachemeng.com

2017.11.11

SVRの概要

• 線形の回帰分析手法
• サポートベクターマシン (SVM) を回帰分析に応用
• 目的変数の誤差に加えて、それぞれ以下の項を最小化することで、過学習を防ぐ
• リッジ回帰 (RR)・LASSO・Elastic Net (EN) と同じ
• 誤差に不感帯を設けることでノイズの影響を受けにくい
• カーネルトリックにより非線形の回帰モデルに

スライドのタイトル

• サポートベクター回帰 (SVR) とは？
• 基本的にSVRは線形の回帰分析手法
• 回帰係数 b
• 非線形の回帰モデルへ
• SVMとSVRとの比較
• SVRの誤差関数
• スラック変数
• RR・LASSO・EN との関係
• Lagrangeの未定乗数法
• 偏微分して0
• G の変形
• カーネル関数の例
• α を求める
• 二次計画問題
• SVRの回帰式
• サポートベクターとは
• c の計算
• SVRのまとめ・特徴
• C, ε, γ の決め方

参考資料

• C.M. ビショップ，パターン認識と機械学習 下, 丸善出版 (2012)

SVRのPythonのプログラムは、こちらの課題16をご参照ください。

以上です。

質問・コメントがありましたら、twitter・facebook・メールなどを通して教えていただけるとうれしいです。