守りの AD 攻めの BO (AD: モデルの適用範囲、BO: ベイズ最適化)
分子設計でも材料設計でもプロセス設計でも、説明変数 X と目的変数 Y のそろったデータセットを準備して、X と Y の間でモデル Y = f(X) を構築します。構築したモデルを用いて、Y が目標の値となるような X の候補を設計します。...
ケモメトリックス
異常検出を気軽に試したい方へ、プログラミング不要で実行できるアプリ「DCE fault detection」を作りました。ご自由にお使いください。ちなみにモデルの適用範囲(AD)の設定にも使えます
異常検出を試してみたい、プラントのデータを使って異常なのか正常なのか推定してみたら、どれくらいの異常を推定できるのか確認してみたい、という方はいらっしゃると思います。 試してみて良い結果が出ると、さらに異常検出について勉強するモチベーション...
ガウシアンカーネルを用いた SVR ではモデルの適用範囲を考慮しなくてよいの？！
目的変数 Y と説明変数 X との間で回帰モデル Y = f(X) を構築するとき、基本的にモデルの適用範囲 (Applicability Domain, AD) を設定する必要があります。AD の詳細はこちらをご覧ください。 回帰分析手法...
木を見ず枝を見ろ！～精度の低い決定木モデルの活用法～
決定木で回帰分析やクラス分類を行うときの話です。 決定木では、他の手法と比べて回帰モデルやクラス分類モデルの予測精度が低くなってしまうことがあると思います。こんなとき、もう決定木は用済み、としてしまうのはもったいないかもしれません。 決定木...
データ解析前における、説明変数(特徴量・記述子)の決め方・選び方の方針
目的変数 Y と説明変数 (特徴量・記述子) X との間に、クラス分類や回帰分析によってモデル Y = f(X) を構築します。モデルを構築するためにはデータセットが必要ですので、Y, X を決めてからサンプルを集めなければなりません。モデ...
モデルの予測精度は、目的変数Yの誤差だけでなくモデルの適用範囲を含めて議論しましょう
新型コロナウイルスの影響もあり、セミナーや講演会はオンラインで行うようになってきました。対面でやるときも、オンラインでやるときも、だいたいどこでも聞かれる質問に、サンプル数をどれくらい増やせば十分ですか？いくつのサンプルを集めれば十分に予測...
変数選択・特徴量選択のときの意識は、モデルの予測精度を上げることより、不要な変数・特徴量を削除することです
回帰モデルやクラス分類モデルの予測精度を上げるためモデルを解釈するため色々な目的で変数選択 (特徴量選択) をしていると思います。相関係数に基づく削除、Stepwise法、LASSO、GAPLS, GASVR、Boruta とかですね。変数...
目的変数の値が0から1の間のとき、予測値も0から1の間にしたい！→ロジット変換はどうでしょう？
今回は、目的変数 Y の値が 0 から 1 の間にあり、回帰分析をするときの話です。例えば Y がモル分率などのときですね。このような Y と説明変数 X の間で回帰モデル Y=f(X) を構築して、X の値から Y の値を予測したとき、予...
目的変数 Y における測定誤差などのばらつきを考慮したモデリング
目的変数 Y と説明変数 X との間で回帰モデル Y = f(X) を構築するとき、Y が物性・活性などの何らかの測定値である場合をはじめとして、一般的には X の値が全く同じであっても、Y は測定誤差などによってばらつきます。回帰分析では...
どのようなときに目的変数Yではなくlog(Y)にしたほうがよいのか？～対数変換するメリットとデメリット～
回帰分析では、目的変数 Y と説明変数 X との間でモデル Y = f(X) を構築します。このとき、Y ではなく、それを対数変換した log(Y) を用いることがあります。モデル log(Y) = f(X) を構築し、モデルに X を入力...