[解析結果とPythonコードあり] 転移学習 (Transfer Learning) を用いたデータ解析
転移学習 (Transfer Learning) について、パワーポイントの資料とその pdf ファイルを作成しました。どんなシチュエーションで転移学習が使えるのか、そして転移学習により本当にモデルの精度は向上するのか、数値シミュレーション...
プロセス制御・プロセス管理・ソフトセンサー
すでに100万サンプル超え！？金子研ではこれまでどのようなデータセットを扱ってきたのか
これまで金子研では、学生たちやわたしが、いろいろな種類のデータセットを扱ってまいりました。参考までに、これまでのデータセットを、教師ありのサンプル数 (目的変数の値のあるサンプル数) と一緒にまとめました。共同研究に関するものなど、ぼやかし...
[Pythonコードあり] iterative Gaussian Mixture Regression(iGMR)で欠損値を補完しましょう！(目的変数があってもなくても構いません)
下図のような欠損値 (欠損データ) のあるデータセットがあるとします。穴あきのデータセットですね。 こんなときに、穴の空いたところである欠損値を補完する方法を提案します。上の図のようなデータセットを下図のようにできます。 たとえば、論文や特...
半教師あり学習するときはサンプル選択しましょう！[金子研論文][Pythonコードあり]
半教師あり学習 (半教師付き学習) に関する、金子研学生との共著論文が Chemometrics and Intelligent Laboratory Systems に掲載されました。半教師あり学習のメリットはこちらに書いたとおりでして、...
[Pythonコード付き] 主成分分析(PCA)に基づく半教師あり学習
回帰分析のときに、教師ありデータ (目的変数 y の値がそろったデータ) と教師なしデータ (y の値がないデータ) とを合わせてから主成分分析 (Principal Component Analysis, PCA) で成分 (潜在変数) ...
[Pythonコード付き] 相関係数で変数選択したり変数のクラスタリングをしたりしてみましょう
回帰分析やクラス分類をする前の、データセットの前処理の話です。2 つの説明変数 (記述子・特徴量) の間で、相関係数の絶対値が大きいとき、それらの変数は似ているということです。余計な変数は、回帰モデル・クラス分類モデルに悪影響を及ぼすため、...
[解析結果付き] Boruta、ランダムフォレストの変数重要度に基づく変数選択手法
Boruta という、ランダムフォレスト (Random Forest, RF) の変数重要度に基づいた変数選択手法について、パワーポイントの資料とその pdf ファイルを作成しました。いろいろなデータセットを解析しましたが、モデルの推定性...
本を書いていて思ったこと
ここ 2,3 ヶ月、本を書いていまして、先週に脱稿しました。内容のキーワードとしては、 Python 初学者 データ解析 機械学習 分子設計 材料設計 ソフトセンサー 異常検出・診断 といった感じです。サンプルプログラム付きで勉強しやすく、...
金子研オンラインサロンを 1 年間継続してみて
金子研オンラインサロンをはじめてから 1 年が経ちました。登録者は 162 名です (2019年6月9日現在)。学生、大学教員、企業の方など、いろいろな立場の方が参加されていまして、化学だけでなく物理・工学・経済などいろいろな分野を背景にも...
部分的最小二乗回帰(Partial Least Squares Regression, PLS)の回帰係数の証明
こちらの↓部分的最小二乗回帰 (Partial Least Squares Regression, PLS) の回帰係数についてです。 上の記事を読んでいたりして PLS のことを知っていること前提でお話します。PLS でも、y = Xb ...