異常検出を気軽に試したい方へ、プログラミング不要で実行できるアプリ「DCE fault detection」を作りました。ご自由にお使いください。ちなみにモデルの適用範囲(AD)の設定にも使えます
異常検出を試してみたい、プラントのデータを使って異常なのか正常なのか推定してみたら、どれくらいの異常を推定できるのか確認してみたい、という方はいらっしゃると思います。試してみて良い結果が出ると、さらに異常検出について勉強するモチベーションも...
データ解析
ガウシアンカーネルを用いた SVR ではモデルの適用範囲を考慮しなくてよいの？！
目的変数 Y と説明変数 X との間で回帰モデル Y = f(X) を構築するとき、基本的にモデルの適用範囲 (Applicability Domain, AD) を設定する必要があります。AD の詳細はこちらをご覧ください。回帰分析手法で...
木を見ず枝を見ろ！～精度の低い決定木モデルの活用法～
決定木で回帰分析やクラス分類を行うときの話です。決定木では、他の手法と比べて回帰モデルやクラス分類モデルの予測精度が低くなってしまうことがあると思います。こんなとき、もう決定木は用済み、としてしまうのはもったいないかもしれません。決定木の代...
データ解析・機械学習のプログラミングでエラーが出たら、まずはデータセットの中身を確認しましょう
分子設計、材料設計、プロセス設計、プロセス管理・制御において、データセットを用いて解析したり、機械学習したりします。データセットの可視化をしたり、クラスタリングをしたり、クラス分類をしたり、回帰分析をしたり、予測をしたり、予測結果に基づいて...
データ解析前における、説明変数(特徴量・記述子)の決め方・選び方の方針
目的変数 Y と説明変数 (特徴量・記述子) X との間に、クラス分類や回帰分析によってモデル Y = f(X) を構築します。モデルを構築するためにはデータセットが必要ですので、Y, X を決めてからサンプルを集めなければなりません。モデ...
モデルの予測精度は、目的変数Yの誤差だけでなくモデルの適用範囲を含めて議論しましょう
新型コロナウイルスの影響もあり、セミナーや講演会はオンラインで行うようになってきました。対面でやるときも、オンラインでやるときも、だいたいどこでも聞かれる質問に、サンプル数をどれくらい増やせば十分ですか？いくつのサンプルを集めれば十分に予測...
変数選択・特徴量選択のときの意識は、モデルの予測精度を上げることより、不要な変数・特徴量を削除することです
回帰モデルやクラス分類モデルの予測精度を上げるためモデルを解釈するため色々な目的で変数選択 (特徴量選択) をしていると思います。相関係数に基づく削除、Stepwise法、LASSO、GAPLS, GASVR、Boruta とかですね。変数...
新たな適応型ソフトセンサーを開発しました！[金子研論文]
金子研の論文が出ましたのでご紹介します。タイトルはEnsemble just-in-time model based on Gaussian process dynamical models for nonlinear and dynami...
目的変数の値が0から1の間のとき、予測値も0から1の間にしたい！→ロジット変換はどうでしょう？
今回は、目的変数 Y の値が 0 から 1 の間にあり、回帰分析をするときの話です。例えば Y がモル分率などのときですね。このような Y と説明変数 X の間で回帰モデル Y=f(X) を構築して、X の値から Y の値を予測したとき、予...
目的変数 Y における測定誤差などのばらつきを考慮したモデリング
目的変数 Y と説明変数 X との間で回帰モデル Y = f(X) を構築するとき、Y が物性・活性などの何らかの測定値である場合をはじめとして、一般的には X の値が全く同じであっても、Y は測定誤差などによってばらつきます。回帰分析では...