機能的なモノと意味があるモノ~MLR, SOMはオワコン?~

世の中には、機能的なモノばかりではなく、機能的ではないけれども意味があるモノもあります。例えば、ろうそくです。昔は、空間を明るくするために使われていましたが、今は電球や蛍光灯がありますので、空間を明るくすることに関しては機能的ではありません。ただ、世の中からろうそくがなくなることはなく、ろうそくの火やその光が好きな人にとっては、なくてはならないモノです。その人にとっては、ろうそくは意味があるモノです。

自動車も年々高機能化していますし、自動運転車も検討されていますが、機能的には劣る昔の車 (クラシックカー) が好きで乗る人もいます。その人にとっては意味があるわけです。

データ解析・機械学習の分野でも、年々新たな手法が開発されているため、ひと昔前の手法に対して上位互換性をもつ手法もあります。例えば最小二乗法による線形重回帰分析 (Multiple Linear Regression, MLR) に対する Partial Least Squares Regression (PLS), リッジ回帰(Ridge Regression, RR), Least Absolute Shrinkage and Selection Operator (LASSO), Elastic Net (EN) です。

最小二乗法による線形重回帰分析~人工知能・機械学習・統計の基礎の基礎~
最小二乗法による線形重回帰分析について、pdfとパワーポイントの資料を作成しました。目的変数と説明変数とのデータセットが与えられたときに、どのように回帰係数を計算するかが説明されています。最後には回帰モデルを比較するための指標3つをまとめて...
部分的最小二乗回帰(Partial Least Squares Regression, PLS)~回帰分析は最初にこれ!~
部分的最小二乗回帰 (Partial Least Squares Regression, PLS) について、pdfとパワーポイントの資料を作成しました。データセットが与えられたときに、PLSで何ができるか、どのようにPLSを計算するかが説...
リッジ回帰(Ridge Regression, RR), Least Absolute Shrinkage and Selection Operator (LASSO), Elastic Net (EN)~誤差の二乗和と一緒に回帰係数の値も小さくする~
リッジ回帰(Ridge Regression, RR), Least Absolute Shrinkage and Selection Operator (LASSO), Elastic Net (EN) について、pdfとパワーポイントの...

 

PLS, RR, LASSO, EN それぞれ、線形の回帰モデルを柔軟に設計できますし、ハイパーパラメータの値を調整することで MLR にもなります (PLS の成分数を最大値にしたり、RR, LASSO, EN の λ を 0 にしたりすると MLR と同じです)。ハイパーパラメータの値によって柔軟にモデルを設計できるわけです。

また、自己組織化マップ (Self-Organizing Map, SOM) に対して Generative Topographic Mapping (GTM) は上位互換性があります。

自己組織化マップ(Self-Organizing Map, SOM)~非線形の可視化・見える化手法、ただ過学習の危険性も高いので注意!~
自己組織化マップ(Self-Organizing Map, SOM)について、pdfとパワーポイントの資料を作成しました。データセットが与えられたときに、SOMで何ができるか、RFをどのように計算するか、SOMの特徴・問題点・解決策が説明さ...
Generative Topographic Mapping (GTM)~自己組織化マップ(SOM)の上位互換の手法~
Generative Topographic Mapping (GTM) について、pdfとパワーポイントの資料を作成しました。GTMの特徴や、データセットが与えられたときにGTMで何ができるか、GTMをどのように計算するかが説明されていま...

 

C. M. Bishop 先生が指摘しているように、SOM のいくつかの問題点を解決する形で、GTM が開発されました。そういう意味では、Y を含めた SOM である Counter Propagation Neural Network に対して Generative Topographic Mapping Regression (GTMR) も上位互換性をもつといえます。

Generative Topographic Mapping(GTM)でデータの可視化・回帰分析・モデルの適用範囲・モデルの逆解析を一緒に実行する方法 [金子研論文]
今回は、Generative Topographic Mapping (GTM) でデータの可視化・回帰分析・モデルの適用範囲・モデルの逆解析を一緒に実行できる手法を開発し、QSPR 解析・QSAR 解析と分子設計を行った論文が、molec...
[Pythonコードあり] GTMR(Generative Topographic Mapping Regression)でデータの可視化・回帰分析・モデルの適用範囲・モデルの逆解析・化学構造生成をいっぺんにやってしまいます! (物性・活性が2つ以上でもOK)
またまた Structure Generator based on R-Group (SGRG) という化学構造を生成する Python プログラムへの、新たな機能追加です。 前回はベイズ最適化 (Bayesian O...

 

k最近傍法 (k-Nearest Neighbor, k-NN) に対するサポートベクターマシン (Support Vector Machine, SVM) は微妙なところです。

k最近傍法(k-Nearest Neighbor, k-NN)でクラス分類・回帰分析・モデルの適用範囲(適用領域)の設定をしよう!
 今回は、k最近傍法 (k-Nearest Neighbor, k-NN) についてです。k-NN だけで、 クラス分類 回帰分析 モデルの適用範囲(適用領域)の設定 の3つもできてしまうんです。 そんな有...
サポートベクターマシン(Support Vector Machine, SVM)~優秀な(非線形)判別関数~
 サポートベクターマシン(Support Vector Machine, SVM)について、pdfとパワーポイントの資料を作成しました。データセットが与えられたときに、SVMで何ができるか、どのようにSVMを計算するかが説明されています。p...
サポートベクター回帰(Support Vector Regression, SVR)~サンプル数10000以下ならこれを使うべし!~
サポートベクター回帰(Support Vector Regression, SVR)について、pdfとパワーポイントの資料を作成しました。データセットが与えられたときに、SVRで何ができるか、SVRの特徴、どのように計算するかが説明されてい...
One-Class Support Vector Machine (OCSVM) で外れ値・外れサンプルを検出したりデータ密度を推定したりしよう!
今回は、One-Class Support Vector Machine (OCSVM) についてです。OCSVM は SVM を領域推定問題に応用した手法であり、外れ値・外れサンプルを検出できたり、データ密度を推定できたりします。データ密...

 

k-NN の k の値は設定しやすい一方で、SVM のハイパーパラメータは適切に設定できないと精度が下がってしまいます。また、k-NN ではサンプルの更新がしやすいです。完全な上位互換とはいえないかと思います。

 

では、私が例えば MLR をもう使わないか、PLS, RR, LASSO, EN にすべて置き換えるか、というと、そうではありません。MLR は、目的変数 Y の誤差が小さくなるように回帰モデルを構築する、といった原理原則を教えるのにとても有効です。私にとっては意味があるものです。また SOM も、データの可視化の原理原則である、実際の空間において近いサンプルが可視化した後の空間・平面でも近い必要があり、またその逆も満たす必要があることを教えるのに便利です。k-NN も Y の値が似ていたり、Y のカテゴリーが同じだったりするサンプル同士は、X の値も似ていること、またその逆のことも教えやすいです。

他の例でいえば、例えば PLS の 1 成分モデルでしょうか。1 成分しか用いませんので、多くの場合で推定性能は低く、機能性があるとはいえません。しかし、多重共線性のため線形回帰モデルの (標準) 回帰係数を説明変数 X の Y に対する寄与度とすることは危険ですが、PLS の 1 成分モデルであれば、もちろんその推定精度の範囲内において、回帰係数を X の Y への寄与度とすることができます。線形回帰分析の意味を変える手法といえるでしょう。

データ解析・機械学習の手法の中には、機能的な手法もあれば意味のある手法もあります (機能的でない手法にすべて意味があるというわけではありません)。色々な手法に触れて、一度は試してみるのがよいかもしれません。

 

以上です。

質問やコメントなどありましたら、twitter, facebook, メールなどでご連絡いただけるとうれしいです。

タイトルとURLをコピーしました