[デモのプログラムあり] Local Outlier Factor (LOF) によるデータ密度の推定・外れサンプル(外れ値)の検出・異常検出
Local Outlier Factor (LOF) について、パワーポイントの資料とその pdf ファイルを作成しました。LOF は k-nearest neighbor algorithm (k-NN) の発展版のようなもので、データ密...
プロセス制御・プロセス管理・ソフトセンサー
データ解析・機械学習のしやすいデータセットの作り方
データ化学工学研究室 (金子研) では、分子のデータや材料のデータやプロセスの時系列データなど、化学データ・化学工学データを扱ってデータ解析・機械学習をしています。データ解析の基本的な流れは、ある程度固まっていることから、 データ解析を成功...
人工知能は本質的に何をしているのか
データ化学工学研究室 (金子研) では、基本的に化学データ・化学工学データを用いて、データ解析・統計解析・機械学習によって、数理モデル・数値モデル (人工知能) を作ったり、それを有効に使ったりする研究をしています。 人工知能を作ところのイ...
DCEKit にバギングによるアンサンブル学習の機能を追加！scikit-learn の BaggingRegressor や BaggingClassifier との違いとは？
データ解析・機械学習のためのツールキット DCEKit にバギングによるアンサンブル学習の機能を追加しました。 アンサンブル学習というのは、回帰モデルだったりクラス分類モデルだったり、モデルをたくさん作って推定性能を上げよう！、といった手法...
設計の目的は問題解決
設計の目的は設計することではなくて、何かしらの問題を解決することです。あたりまえのことかもしれませんが、少しお話しします。 いろいろな設計問題があります。分子・化学構造を設計したり、材料の作り方 (実験条件・製造条件) を設計したり、プロセ...
DCEKit (Data Chemical Engineering toolKit) のクラスや関数の解説 (取扱説明書)
こちらのDCEKit (Data Chemical Engineering toolKit) について、 クラスや関数の解説をします。少し長いですが、「Ctrl + F」で知りたいクラス・関数の名前を検索してもらえるとうれしいです。黄色のマ...
DCEKit (Data Chemical Engineering toolKit) を PyPI にリリース！
これまで化学データ・化学工学データのデータ解析に役立つツールや金子研で開発された手法に関する Python コードを Github にて公開してきました。このたびは、これらのツール・手法 (の一部) に加えて、新たな機能を追加して、DCEK...
[Pythonコード付き] テストデータのMAEをトレーニングデータから推定する方法を開発したので紹介します [金子研論文]
回帰分析において、新しいサンプルを推定するときの誤差の絶対値の平均値を推定するための指標を開発しました。イメージとしては、テストデータとしてサンプルがたくさんあるときの、モデルの適用範囲 (Applicability Domain, AD)...
クロスバリデーション(交差検定)のとき、変数の標準化(オートスケーリング)はどうするか？
金子研オンラインサロンにおいて、 メンバーの方からクロスバリデーションのとき変数の標準化 (オートスケーリング) に関して質問がありました。とても大事な視点であり、一言では回答できない内容でしたので、ブログで取り上げさせていただきました。 ...
モデルの逆解析をするときのチェックリスト
回帰モデルやクラス分類モデルを構築したら、モデルの逆解析を行うことで、目的変数の目標値を達成すると考えられる説明変数の値を推定できます。ただ、モデルの逆解析をするときは、いくつか注意点がありますので、チェックリストとしてまとめました。モデル...