ダブルクロスバリデーション(モデルクロスバリデーション)でテストデータいらず～サンプルが少ないときのモデル検証～
回帰モデルやクラス分類モデルを検証するときの話です。 モデルの検証 一般的には、データセットが与えられたとき、サンプルをモデル構築用サンプル (トレーニングデータ, training dataset) とモデル検証用サンプル (テストデータ...
データ解析
スペクトル・時系列データの前処理の方法～平滑化 (スムージング) と微分～
スペクトル解析のときや、時系列データを扱うときの話です。 いくつかの点でスペクトルデータと時系列データは似ています。たとえば、隣同士の値が似ているっていう点ですね。他にも、データにノイズが含まれるという点も共通した特徴です。 このようにスペ...
[Pythonコードあり] サポートベクター回帰(Support Vector Regression, SVR)のハイパーパラメータを高速に最適化する方法
サポートベクター回帰 (Support Vector Regression, SVR) は、こちら：サポートベクター回帰(Support Vector Regression, SVR)～サンプル数10000以下ならこれを使うべし！～ にある...
適応的な実験計画法の概要と研究の方向性 (実験・シミュレーションのデータベース利用)
最初に、材料・製品設計と、プロセス・装置設計の話をします。 材料設計・製品設計 こちら：分子設計・化学構造設計の概要と研究の方向性 (化合物データベース利用) のような分子設計により、化合物を開発した後は、それを適切に材料や製品にしなければ...
Pythonで試行錯誤しながらデータ解析をしていただいた話～第7回ケモインフォマティクス入門講座～
受講者のユーザーエクスペリエンスを大事にする 第7回ケモインフォマティクス入門講座 中級編 において講師 兼 ファシリテーターを務めてまいりました。 内容としては、 ケモメトリックスの基礎を学びサンプルデータなどでケモメトリックス手法を用...
プロセス制御・プロセス管理・ソフトセンサーの概要と研究の方向性 (化学プラントにおけるデータベース利用)
化学プラント・産業プラントは、温度・圧力・流量・濃度といった いろいろなプロセス変数を制御 (コントロール) しながら運転する必要があります。 設定値の変更 たとえば、製品の生産量を増やしたい・減らしたいときや製品の銘柄を変えたいとき、なる...
分子設計・化学構造設計の概要と研究の方向性 (化合物データベース利用)
分子設計、つまり目的に応じた化学構造の設計についての話です。分子設計を応用する対象が、医薬品のときは、医薬品設計や薬物設計と呼ばれたりもします。 分子設計とは？ 分子設計の目的は、高い機能をもつ化合物をつくることです。たとえば、 よく効く薬...
r2やRMSE・MAEはもう古い！？回帰分析においてモデルを評価するための新しい指標を開発しました
データ化学工学研究室としての最初の論文が掲載されました。つまり、わたしが明治大学に異動したあとに実施した研究成果の論文として、初めてのものです。その報告をすると同時に、論文の内容の概要を説明します。 この論文は、回帰モデルを評価するための新...
尺度水準～変数(記述子・特徴量)のレベルを把握しておきましょう～
データ解析では、数字を扱います。ただ数字といっても、いろいろなレベルの数字があります。 たとえば、 電話番号 大学ランキング 摂氏温度 絶対温度 では、それぞれ数字の印象が違うように感じませんか？数字のレベルが違うのです。下になればなるほど...
ニュートン法(ニュートン・ラフソン法)～f(x)=0の解を数値的に求める～
「f(x) = 0 の解を求めよ」 といった問題で、解析的に解を求めるのが難しいこともあります。こんなときに、直接的に解かなくても、数値的に f(x) = 0 となる xを求められる方法が、ニュートン法 (ニュートン・ラフソン法) です。実...