適応型ソフトセンサーを検証できる Python コードを作りましたので、ぜひご自身のデータセットでお試しください
化学プラント・産業プラントにおける測定が難しいプロセス変数の値を、機械学習・人工知能で推定しよう！ というのがソフトセンサーですが、プラントでソフトセンサーを用いるときは、基本的に適応型ソフトセンサー (Adaptive Soft Sens...
プロセス制御・プロセス管理・ソフトセンサー
SVR(サポートベクター回帰)で誤差が一定のところにサンプルが固まるのはどうして？何か問題があるの？ → SVR の特徴も確認！
SVR (Support Vector Regression, サポートベクター回帰) で回帰モデルを構築したことのある方は、下の図のように、実測値 vs. 推定値プロットにおいて、対角線から一定に離れたところにサンプルが固まっている、つま...
[デモのプログラムあり] 勾配ブースティングGradient Boosting、特に Gradient Boosting Decision Tree (GBDT), XGBoost, LightGBM
勾配ブースティングGradient Boosting、特に Gradient Boosting Decision Tree (GBDT), XGBoost, LightGBM について、パワーポイントの資料とその pdf ファイルを作成しま...
目的変数が複数のときに実験計画法のベイズ最適化(Bayesian Optimization, BO)が対応！
実験計画法やベイズ最適化 (Bayesian Optimization, BO) についてはこちらに書いたとおりです。Python コードもあります。今回は実験計画法の BO について目的変数が複数のときに対応しましたので報告します。プログ...
回帰モデル・クラス分類モデルの検証 (バリデーション) について考えていること
分子設計・材料設計・プロセス設計・プロセス制御設計 (ソフトセンサーなど) といった、いろいろな研究をする中で、たくさんの回帰モデルやクラス分類モデルなどを構築したり、構築したモデルを使ったりしています。モデルを扱う中で最も重要なことの一つ...
モデルがどれくらい外挿できるか (モデルの適用範囲の外をどのくらい予測できる) の検証方法
回帰モデルでもクラス分類モデルでも、モデルを構築したら、そのモデルでどれくらいの外挿ができるか、つまりモデルの適用範囲 (Applicability Domain, AD) の外をどのくらい予測できるのか、はとても大事です。AD はモデルが...
小さなデータセットが抱える大きな問題
サンプル数が小さいデータセットには、データ解析で回帰分析やクラス分類をするとき、とてつもなく大きな問題があります。回帰分析やクラス分類における問題というと、精度の高いモデルが構築できないことを想像するかもしれません。逆です。精度の高いモデル...
このデータセットにはどの距離を用いればよいの？？～ユークリッド距離・マンハッタン距離・チェビシェフ距離・マハラノビス距離～
データ解析において、サンプル同士がどれくらい似ているか、サンプル間の類似度を調べるため、距離が用いられます。サンプル間の距離が小さい = ２つのサンプルは似ている、ということです。距離といってもいろいろあります。たとえば、ユークリッド距離・...
モデルの解釈に関する考え方・スタンス
金子研オンラインサロンにおける話題の中から一つ。Slack で機械学習によって構築されたモデルの解釈に関する質問があり、わたしが回答しました。質問や回答の詳細は伏せますが (興味のある方はオンラインサロンにご登録くださいw) モデルの解釈に...
主成分分析(Principal Component Analysis, PCA)の前に変数の標準化(オートスケーリング)をしたほうがよいのか？
変数がたくさんある多変量データを解析する前に、変数の標準化 (オートスケーリング) をすることは、こちらに書きました。データセットの可視化手法であり低次元化手法でもある主成分分析 (Principal Component Analysis,...