クロスバリデーション(交差検定)のとき、変数の標準化(オートスケーリング)はどうするか？
金子研オンラインサロンにおいて、 メンバーの方からクロスバリデーションのとき変数の標準化 (オートスケーリング) に関して質問がありました。とても大事な視点であり、一言では回答できない内容でしたので、ブログで取り上げさせていただきました。 ...
データ解析
プログラミング未経験者のためのデータ解析・機械学習、連載スタート！
化学工学会の会誌で、Python でデータ解析・機械学習をおこなうための連載が始まりました。 〔連載〕プログラミング未経験者のためのデータ解析・機械学習 が化学工学会の会誌でスタートしました！ 1. 本連載のねらい・Jupyter Note...
モデルの逆解析をするときのチェックリスト
回帰モデルやクラス分類モデルを構築したら、モデルの逆解析を行うことで、目的変数の目標値を達成すると考えられる説明変数の値を推定できます。ただ、モデルの逆解析をするときは、いくつか注意点がありますので、チェックリストとしてまとめました。モデル...
[解析結果とPythonコードあり] 転移学習 (Transfer Learning) を用いたデータ解析
転移学習 (Transfer Learning) について、パワーポイントの資料とその pdf ファイルを作成しました。どんなシチュエーションで転移学習が使えるのか、そして転移学習により本当にモデルの精度は向上するのか、数値シミュレーション...
すでに100万サンプル超え！？金子研ではこれまでどのようなデータセットを扱ってきたのか
これまで金子研では、学生たちやわたしが、いろいろな種類のデータセットを扱ってまいりました。参考までに、これまでのデータセットを、教師ありのサンプル数 (目的変数の値のあるサンプル数) と一緒にまとめました。共同研究に関するものなど、ぼやかし...
[Pythonコードあり] GTMR(Generative Topographic Mapping Regression)でデータの可視化・回帰分析・モデルの適用範囲・モデルの逆解析・化学構造生成をいっぺんにやってしまいます！ (物性・活性が2つ以上でもOK)
またまた Structure Generator based on R-Group (SGRG) という化学構造を生成する Python プログラムへの、新たな機能追加です。 前回はベイズ最適化 (Bayesian Optimization...
[Pythonコードあり] ベイズ最適化で所望の物性や活性となる確率の高い化学構造を生成する (物性・活性が2つ以上でもOK)
Structure Generator based on R-Group (SGRG) という化学構造を生成する Python プログラムへの、新たな機能追加です。今回の機能追加でバージョンを 1.0 → 2.0 としました。 SGRG に...
[Pythonコードあり] iterative Gaussian Mixture Regression(iGMR)で欠損値を補完しましょう！(目的変数があってもなくても構いません)
下図のような欠損値 (欠損データ) のあるデータセットがあるとします。穴あきのデータセットですね。 こんなときに、穴の空いたところである欠損値を補完する方法を提案します。上の図のようなデータセットを下図のようにできます。 たとえば、論文や特...
半教師あり学習するときはサンプル選択しましょう！[金子研論文][Pythonコードあり]
半教師あり学習 (半教師付き学習) に関する、金子研学生との共著論文が Chemometrics and Intelligent Laboratory Systems に掲載されました。半教師あり学習のメリットはこちらに書いたとおりでして、...
データ解析の基本的な流れを整理します
いろいろなデータセットを解析する上で、データ解析の基本的な流れを整理しておきます。ここでは、回帰分析やクラス分類をするときにように、教師ありのデータセット、つまり目的変数 Y があるようなデータセットを解析することを想定しています。流れにお...