回帰係数=寄与度とすることは危険、どうしても寄与度を求めたいときはPCRやPLSの1成分モデルで、ただ基本的には寄与度ではなく重要度で議論
タイトルで言いたいことはほとんど言っていますが、丁寧に説明します。たとえば最小二乗法による線形重回帰分析や部分的最小二乗回帰 (Partial Least Squares Regression, PLS) や Least Absolute ...
プロセス制御・プロセス管理・ソフトセンサー
データセット作成のときに注意する６つのこと
データ解析・機械学習を行うためには、データセットが必須です。エクセルファイルや実験ノートなどからデータを集めて、整理してまとめると思います。そのようにしてデータセットを作成するとき、注意することがあります。６つそれぞれ説明します。 1. x...
モデルを運用することを想定して、モデルの設計をしましょう！
説明変数 X と目的変数 Y の間でモデル Y = f(X) を構築するとき、やはり今あるデータで構築できる最適なモデルを構築したいと思います。そのためモデルを設計します。新たな X を提案・作成したり、X の組み合わせを選んだり、回帰分析...
意識と無意識、形式知と暗黙知、言語と非言語～データ解析・機械学習におけるヒヨコのオスメスを見分け方をすべて言語化できるか？～
データ解析や機械学習の相談を受けるとき、背景やデータの内容を聞くだけで、上手くいきそうとか、上手くいかなさそうとか、感覚的にわかることがあります。実際にデータを見るとその確度が高まりますが、データを見なくても、ある程度わかったりします。 た...
X と Y が一貫した関係をもつようなデータセットの作り方
説明変数 X と目的変数 Y の間で回帰モデル Y = f(X) を構築するとき、X と Y の間の関係は一貫している必要があります。下の図をご覧ください。 上の (a) の図では、X と Y の間の関係は一貫していません。X の値が p ...
モデルの予測精度を上げるための考え方・方針
目的変数 Y と説明変数 X との間で、回帰分析やクラス分類を行い、モデル Y = f(X) を構築します。もちろん予測精度の高いモデルが望ましいですので、モデルの予測精度を上げるために、いろいろと工夫をします。その工夫の方針は、以下の 5...
データ解析・機械学習における、よくある誤解 4 選
共同研究やコンサルティングなどで、いろいろな方々とお話していると、データ解析・機械学習に関連した誤解があることに気づきます。確かに、一見妥当そうな内容ですので、誤解するのは仕方ないと思いますし、実際、中にはわたしも昔に同じことを考えており、...
目的変数の実測値vs.予測値プロットが横になってしまう(寝てしまう)ときは非線形手法を検討しよう
データセットを用いて、目的変数 Y と説明変数 X との間で回帰モデル Y = f(X) を構築し、そのモデルに X の値を入力することで Y の値を予測することがあります。その予測結果を、下の図のような Y の実測値 vs. 予測値のプロ...
回帰分析からクラス分類に変換したり、クラス分類から回帰分析に変換したりするメリット・デメリット
説明変数 X と目的変数 Y との間でモデル Y = f(X) を構築することがあります。Y が連続値の変数のときは回帰分析、Y がカテゴリー変数のときはクラス分類です。回帰分析、つまり Y が連続値の変数のとき、Y をカテゴリーの情報にす...
材料設計の限界(モデルの逆解析の限界)は分かるのか？
材料設計において、材料の物性 Y と実験条件 X との間で回帰モデル Y = f(X) を構築し、そのモデルに基づいて Y が望ましい値であったり、目標の値であったり、目標の範囲に入ったりするような X の値の提案を行います。いわゆるモデル...