ガウス過程による潜在変数モデルでプロセスデータの可視化やプロセス状態推定をしました![金子研論文]

金子研の論文が Analytical Science Advances に掲載されましたので、ご紹介します。タイトルは

 

Estimation and visualization of process states using latent variable models based on Gaussian process

 

です。

潜在変数モデルであり、ガウス過程による教師なし学習である Gaussian Process Latent Variable Model (GPLVM) を用いて、プラントで測定されているようなプロセスデータの可視化やプロセス状態の推定を実施しました。

ガウス過程というと、ベイズ最適化にも用いられるガウス過程回帰が有名かもしれません。

ベイズ最適化(Bayesian Optimization, BO)~実験計画法で使ったり、ハイパーパラメータを最適化したり~
ガウス過程による回帰をうまく使って、実験計画法における新しい実験候補を探索したり、回帰モデルやクラス分類モデルのハイパーパラメータ (学習では求まらないため事前に決めるべきパラメータ) を決定する方法が、ベイズ最適化 (Bayesian O...
ガウス過程回帰(Gaussian Process Regression, GPR)~予測値だけでなく予測値のばらつきも計算できる!~
ガウス過程による回帰(Gaussian Process Regression, GPR)について、pdfとパワーポイントの資料を作成しました。データセットが与えられたときに、GPRで何ができるか、GPRをどのように計算するかが説明されていま...

 

ガウス過程回帰は教師あり学習法であり、目的変数 Y があるときに用いる一方で、Y がないときに用いる教師なし学習法としてのガウス過程の手法もあります。こちらで解説している GPLVM です。

ガウス過程による潜在変数モデル(Gaussian Process Latent Variable Model, GPLVM)で非線形性を考慮した潜在変数を計算しよう!
ガウス過程による教師なし学習である Gaussian Process Latent Variable Model (GPLVM) について、pdfとパワーポイントの資料を作成しました。infinite Warped Mixture Mode...

 

今回はこの手法を、時系列データを可視化したり、プラントにおけるプロセス状態を推定したりすることに応用しました。GPLVM には、モデルのパラメータの推定方法や潜在変数の事前分布の違いによって、いろいろな手法があります。この論文ではそれらの中で以下の三つの手法に着目しました。

 

  • Bayesian Gaussian Process Latent Variable Model (BGPLVM)
  • infinite Warped Mixture Model (iWMM)
  • Gaussian Process Dynamical Models (GPDM)

 

BGPLVM では潜在変数の事後分布やハイパーパラメータを変分ベイズ法で推定します。 BGPLVM では潜在変数の事前分布は一つの正規分布ですが、iWMM では潜在変数の事前分布が混合正規分布で表されます。また GPDM では潜在変数の事前分布に時系列データの特徴が考慮され、具体的にはマルコフ過程を仮定して設定されます。ちなみに GPDM はこちらの論文でも用いられています。

新たな適応型ソフトセンサーを開発しました![金子研論文]
金子研の論文が出ましたのでご紹介します。タイトルは Ensemble just-in-time model based on Gaussian process dynamical models for nonlinear and dynam...

 

これらの手法や、プロセスの動特性を考慮するために時間遅れ変数を考慮した手法 (GPDM では潜在変数の事前分布でも考慮されていますが、比較のために時間遅れ変数を追加しました) を用いて、お馴染みの Tennessee Eastman プロセスのデータセットで比較しました。プロセス状態の数を 4 つ、6 つ、8 つ、10 つと増やしながらデータの可視化をしていったところ、それぞれ良好に可視化できることが確認されました。また、可視化した二次元平面上において、プロセス状態ごとにサンプルが適切に固まっているか確認するため、ランダムフォレストにより

ランダムフォレスト(Random Forests, RF)~アンサンブル学習で決定木の推定性能を向上!~
ランダムフォレスト(Random Forest, RF)について、pdfとパワーポイントの資料を作成しました。データセットが与えられたときに、RFで何ができるか、RFをどのように計算するかが説明されています。pdfもスライドも自由にご利用く...

 

プロセス状態の推定としてクラス分類をしたところ、BGPLVM, iWMM, GPDM の順に分類精度が高いことがわかりました。特にGVDM では、プロセス状態の数が 4 個のときは 100 %、プロセス状態の数が 10 個のときでも 90% の正解率を達成しています。

プロセスの可視化やプロセス状態に推定に関して、ガウス過程による潜在変数モデルが有効と考えています。ご興味がございましたらお読みいただけますと幸いです。

 

以上です。

質問やコメントなどありましたら、twitter, facebook, メールなどでご連絡いただけるとうれしいです。

タイトルとURLをコピーしました