ガウス過程による回帰(Gaussian Process Regression, GPR)~予測値だけでなく予測値のばらつきも計算できる!~

シェアする

ガウス過程による回帰(Gaussian Process Regression, GPR)について、pdfとパワーポイントの資料を作成しました。データセットが与えられたときに、GPRで何ができるか、GPRをどのように計算するかが説明されています。pdfもスライドも自由にご利用ください

pdfファイルはこちらから、パワーポイント(pptx)ファイルはこちらからダウンロードできます。

興味のある方はぜひ参考にしていただき、どこかで使いたい方は遠慮なくご利用ください。

GPRの概要

  • 線形の回帰分析手法
  • カーネルトリックにより非線形の回帰モデルに
  • 目的変数の推定値だけでなく、その分散も計算できる
  • クロスバリデーションがいらない

スライドのタイトル

  • ガウス過程による回帰 (GPR) とは?
  • GPRを理解するための大まかな流れ
  • 説明に入る前に:GPRがとっつきにくい理由
  • ① 線形モデルの仮定
  • ① 簡単にするため、まずは X を1変数とする
  • ② 回帰係数が正規分布に従うと仮定
  • ② b の例
  • ② サンプル間の y の関係を考える
  • ② y の平均ベクトルと分散共分散行列
  • ② 平均ベクトルと分散共分散行列の計算
  • ② y の平均ベクトルと分散共分散行列 まとめ
  • ② 何を意味するか?
  • ② サンプルを生成してみる
  • ② サンプリング
  • ② サンプリングの結果
  • ② 説明変数の数を複数に
  • ② yの平均ベクトルと分散共分散行列の計算
  • ② yの平均ベクトルと分散共分散行列 まとめ
  • ③ 非線形モデルへの拡張
  • ③ カーネルトリック
  • ③ カーネル関数の例
  • ③ GPRで有名なカーネル関数
  • ③ 非線形モデルのサンプリングの結果
  • ④ y に測定誤差を仮定
  • ④ yobsの平均ベクトル
  • ④ yobsの分散共分散行列
  • ④ yobsの分散共分散行列 まとめ
  • ⑤ 問題設定
  • ⑤ 方針
  • ⑤ 方針 まとめ
  • ⑤ 用いる関係式
  • ⑤ 同時分布 p( yobs,n+1 )
  • ⑤ 条件付き分布 p( yobs(n+1) | yobs )
  • GPRの使い方
  • 精度 β
  • GPRの数値例
  • GPRの数値例の結果
  • ハイパーパラメータの決め方 1/2
  • ハイパーパラメータの決め方 2/2

参考資料

  • C.M. ビショップ,パターン認識と機械学習 下, 丸善出版 (2012)

GPRのPythonのプログラムは、こちらの課題21をご参照ください。

以上です。

質問・コメントがありましたら、twitter・facebook・メールなどを通して教えていただけるとうれしいです。

シェアする

フォローする