[Pythonコードあり] iterative Gaussian Mixture Regression(iGMR)で欠損値を補完しましょう！(目的変数があってもなくても構いません)
下図のような欠損値 (欠損データ) のあるデータセットがあるとします。穴あきのデータセットですね。こんなときに、穴の空いたところである欠損値を補完する方法を提案します。上の図のようなデータセットを下図のようにできます。たとえば、論文や特許か...
ケモメトリックス
半教師あり学習するときはサンプル選択しましょう！[金子研論文][Pythonコードあり]
半教師あり学習 (半教師付き学習) に関する、金子研学生との共著論文が Chemometrics and Intelligent Laboratory Systems に掲載されました。半教師あり学習のメリットはこちらに書いたとおりでして、...
データ解析の基本的な流れを整理します
いろいろなデータセットを解析する上で、データ解析の基本的な流れを整理しておきます。ここでは、回帰分析やクラス分類をするときにように、教師ありのデータセット、つまり目的変数 Y があるようなデータセットを解析することを想定しています。流れにお...
[Pythonコード付き] 主成分分析(PCA)に基づく半教師あり学習
回帰分析のときに、教師ありデータ (目的変数 y の値がそろったデータ) と教師なしデータ (y の値がないデータ) とを合わせてから主成分分析 (Principal Component Analysis, PCA) で成分 (潜在変数) ...
[Pythonコード付き] 相関係数で変数選択したり変数のクラスタリングをしたりしてみましょう
回帰分析やクラス分類をする前の、データセットの前処理の話です。2 つの説明変数 (記述子・特徴量) の間で、相関係数の絶対値が大きいとき、それらの変数は似ているということです。余計な変数は、回帰モデル・クラス分類モデルに悪影響を及ぼすため、...
[解析結果付き] Boruta、ランダムフォレストの変数重要度に基づく変数選択手法
Boruta という、ランダムフォレスト (Random Forest, RF) の変数重要度に基づいた変数選択手法について、パワーポイントの資料とその pdf ファイルを作成しました。いろいろなデータセットを解析しましたが、モデルの推定性...
物性や活性の推定値が大きくなるように、メインの骨格と側鎖を遺伝的アルゴリズムで最適化して、新たな化学構造を生成するPythonプログラムを公開します
以前に、Structure Generator based on R-Group (SGRG) という化学構造を生成する Python プログラムを公開しました。メインの骨格を一つに設定して、その自由結合手に結合する側鎖を、フラグメントの候...
本を書いていて思ったこと
ここ 2,3 ヶ月、本を書いていまして、先週に脱稿しました。内容のキーワードとしては、 Python 初学者 データ解析 機械学習 分子設計 材料設計 ソフトセンサー 異常検出・診断といった感じです。サンプルプログラム付きで勉強しやすく、実...
金子研オンラインサロンを 1 年間継続してみて
金子研オンラインサロンをはじめてから 1 年が経ちました。登録者は 162 名です (2019年6月9日現在)。学生、大学教員、企業の方など、いろいろな立場の方が参加されていまして、化学だけでなく物理・工学・経済などいろいろな分野を背景にも...
部分的最小二乗回帰(Partial Least Squares Regression, PLS)の回帰係数の証明
こちらの↓部分的最小二乗回帰 (Partial Least Squares Regression, PLS) の回帰係数についてです。上の記事を読んでいたりして PLS のことを知っていること前提でお話します。PLS でも、y = Xb の...