サンプルをグループごとにトレーニングデータとテストデータに分割する機能をDCEKitに搭載しました！
回帰モデルやクラス分類モデルの予測性能を評価するとき、トレーニングデータとテストデータにサンプルを分割して、トレーニングデータでモデルを構築し、テストデータで構築されたモデルを評価します。一般的には、scikit-learn の train...
データ解析
Datachemical LAB の出現によるデータ解析・機械学習の変化
分子設計・材料設計・プロセス設計・プロセス管理において、データ解析・機械学習をすることが一般的になってきました。ケモインフォマティクス・マテリアルズインフォマティクス・プロセスインフォマティクスという言葉も色々な場面で使われています。企業の...
ベイズ最適化でプラントごとに最適な適応型ソフトセンサーを選択する手法を開発しました！[金子研論文]
金子研の論文が Case Studies in Chemical and Environmental Engineering に掲載されましたので、ご紹介します。タイトルは Design of adaptive soft sensor ba...
Datachemical LABによって研究者やエンジニアが実験や製造に集中できるようになった
ケモインフォマティクス・マテリアルズインフォマティクス・プロセスインフォマティクスが一般的に行われるようになってきました。これまで蓄積されたデータを用いたり、これから得るためのデータをうまく活用したりして、データ解析・機械学習によって構築し...
データは嘘をつかないので、データを集めたりデータから得られる結果を解釈したりするときにデータに嘘をつかないようにする
分子や材料やプロセスのデータを扱い、データ解析・機械学習をします。その結果、数理モデルが得られたり、数理モデルに基づいて新たな材料や分子や材料やプロセスを設計できたりします。 データ解析や機械学習で扱われるデータは、多くの場合、人が集めます...
特徴量の標準化(オートスケーリング)をするときのちょっとした工夫
説明変数 x のデータを準備して、低次元化やクラスタリングによりデータセットの可視化や解釈をしたり、x と目的変数 y のデータを揃えて回帰分析やクラス分類をしたりするときに、データセットの前処理の一つとして、基本的に特徴量の標準化 (オー...
「やりたいこと」と「できること」をつなぐデータ解析・機械学習(AI・人工知能)
分子設計・材料設計・プロセス設計・プロセス管理において、これまでに蓄積されたデータを収集・整理して、分子記述子・合成条件や製造条件・プロセス条件・プロセス変数 x と分子や材料の物性・活性・特性や製品品質 y との間で数理モデル y = f...
データセットに合わせて主成分分析PCAを有効に活用する
回帰モデルやクラス分類モデルを構築するとき、データセットの前処理や特徴量の低次元化を目的として、主成分分析 (Principal Component Analysis, PCA) を行うことがあります。 可視化・低次元化の手法としては最も基...
特徴量選択・変数選択をするときのハイパーパラメータの決め方や考え方
分子設計・材料設計・プロセス設計・プロセス制御において、分子記述子・合成条件や製造条件・プロセス条件・プロセス変数などの特徴量 x と材料の物性・活性・特性や製品の品質など目的変数 y との間で数理モデルを構築します。y の関係のない x ...
モデルの適用範囲の広さを評価する方法
分子設計・材料設計・プロセス設計・プロセス制御において、分子記述士・合成条件や製造条件・プロセス条件・プロセス変数などの特徴量 x と材料の物性・活性・特性や製品品質などの目的変数 y との間で、数理モデル y = f(x) を構築します。...