サンプルを集めるときに意識するとよいこと [データベース作成]
分子設計や材料設計をするときや、プラントにおいてソフトセンサーを検討しようとするとき、 (分子設計・材料設計・ソフトセンサーについてはこちら) それぞれ、何らかの数値モデルを構築することになります。データ解析・機械学習を駆使してモデルを構築...
プロセス制御・プロセス管理・ソフトセンサー
新たなアンサンブル学習法を開発しました！[金子研論文][Pythonプログラム付き]
昨年度の金子研の四年生が主に研究していたテーマの成果が、Journal of Computer Chemistry, Japan にて論文公開になりました。タイトルは モデルの適用範囲の考慮したアンサンブル学習法の開発 です。下の URL ...
2019年度金子研オンラインサロンメンバー限定 データ化学工学研究室(金子研究室)成果報告会を終えて
一年に一度の、金子研オンラインサロンメンバー限定のデータ化学工学研究室 (金子研究室) 成果報告会です。2019 年度は 1 月 28日 (火) に行ってまいりました。最終的なプログラムは以下のとおりです。 === 金子研オンラインサロンメ...
ハイパーパラメータの選択に失敗してしまったときの対処法
データ解析の基本的な流れにおいて、 基本的にクロスバリデーションしたときの推定性能が高くなるように、ハイパーパラメータを選択すると思います。 ハイパーパラメータの候補ごとにクロスバリデーションを行い、回帰分析であれば決定係数 r2 など、ク...
モデルの検証やその後における外れ値・外れサンプルの扱い
モデルの検証と、その後についての話です。 データセットをトレーニングデータとテストデータに分け、テストデータを用いて、トレーニングデータで構築されたモデルの検証をします。検証の中で、テストデータを精度良く推定できる手法 (回帰分析手法・クラ...
非線形モデルにおける特徴量の寄与の指標を有効に活用する方法
回帰モデルでもクラス分類モデルでも、モデルを構築したらそのモデルの解釈をしたくなるものです。どの説明変数 (特徴量・記述子・パラメータ) が重要なのか、説明変数が目的変数にどのように寄与しているのか、などなどです。 たとえば説明変数の重要度...
2019年度もデータ化学工学研究室(金子研究室)成果報告会をやります！
金子研の学生たちが今年度に研究した成果を報告します。成果報告会の翌週に応用化学科での四年生の卒業研究発表会がありまして、皆さん発表の完成度を上げていきますので、四年生もしっかりした発表になると思います。 成果報告会への参加費は無料です。ただ...
データセットは生きもの。成長もしますし、それに応じて、モデルも成長します
データセットは生きている、と思いながら解析するようにしています。ただ、生物とは何か、、、という話にするつもりはなくてですね、データセットは、サンプルが増えたり減ったり、特徴量 (変数、記述子) が増えたり減ったり、成長しているなあという話で...
回帰分析手法・クラス分類手法の選び方
いつもどんな感じで回帰分析手法・クラス分類手法を選んでいるかお話します。予測結果の r2, RMSE, MAE, 正解率, ... といった指標だけ見て選んでいるわけではありません。 いろいろな回帰分析手法やクラス分類手法がありますね。 現...
ぜんぶオーバーフィッティングのせいだ。
オーバーフィッティングについて考えます。オーバーフィッティングは予測精度の高いモデルを構築するときの問題でして、モデルがトレーニングデータに合いすぎてしまい (目的変数 y の推定誤差が小さくなりすぎてしまい)、新しいデータにおける目的変数...