回帰分析・クラス分類をするときの、モデル構築用データ (トレーニングデータ) とモデル検証用データ (テストデータ) の分け方 [Kennard-Stoneアルゴリズムのコードあり]
回帰分析やクラス分類をするとき、大きな目的の一つは、新しいサンプルに対する推定性能が高いモデルを構築することです。なので、モデルを構築したとき、そのモデルの 新しいサンプルに対する推定性能を検証する必要があります。今、いくつかのサンプル・デ...
データ解析
トレーニングデータ・バリデーションデータ・テストデータの定義
トレーニングデータ・バリデーションデータ・テストデータの定義について書いておきます。バリデーションデータとテストデータとを逆の意味に使う人もいますが、ここでは wikipedia に記載されている内容にあわせます。トレーニング、つまり学習に...
[Python・MATLABコードあり] クロスバリデーションしないで非線形回帰モデルのハイパーパラメータを最適化する方法～サンプルの中点の活用～
どうして クロスバリデーション しないの？データ解析をしていると、いろいろな理由でクロスバリデーションを使いたくない、もしくはクロスバリデーションを使えないことがあります。一つはサンプルが少なすぎるときです。クロスバリデーションでは、最初の...
ひと足先に2019年度のシラバス公開 (分離化学工学・化学プロセスシステム工学・化学工学特論２)
今年度分の講義の内容の書かれたシラバスについては、学部はこちらから、大学院はこちらから見ることができます。ちょうど今は来年度分のシラバスを作成する時期でして、今年度の講義における学生からのフィードバックを参考にして、作り終えました。そこで、...
独立成分分析 (Independent Component Analysis, ICA) ～PCAの無相関より強力な ”独立” な成分を抽出～
よく、主成分分析(Principal Component Analysis, PCA) と比べられることが多い、独立成分分析 (Independent Component Analysis, ICA) についてです。PCA ではデータを低次...
ダブルクロスバリデーション(モデルクロスバリデーション)でテストデータいらず～サンプルが少ないときのモデル検証～
回帰モデルやクラス分類モデルを検証するときの話です。モデルの検証一般的には、データセットが与えられたとき、サンプルをモデル構築用サンプル (トレーニングデータ, training dataset) とモデル検証用サンプル (テストデータ, ...
スペクトル・時系列データの前処理の方法～平滑化 (スムージング) と微分～
スペクトル解析のときや、時系列データを扱うときの話です。いくつかの点でスペクトルデータと時系列データは似ています。たとえば、隣同士の値が似ているっていう点ですね。他にも、データにノイズが含まれるという点も共通した特徴です。このようにスペクト...
[Pythonコードあり] サポートベクター回帰(Support Vector Regression, SVR)のハイパーパラメータを高速に最適化する方法
サポートベクター回帰 (Support Vector Regression, SVR) は、こちら：サポートベクター回帰(Support Vector Regression, SVR)～サンプル数10000以下ならこれを使うべし！～ にある...
適応的な実験計画法の概要と研究の方向性 (実験・シミュレーションのデータベース利用)
最初に、材料・製品設計と、プロセス・装置設計の話をします。材料設計・製品設計こちら：分子設計・化学構造設計の概要と研究の方向性 (化合物データベース利用) のような分子設計により、化合物を開発した後は、それを適切に材料や製品にしなければなり...
Pythonで試行錯誤しながらデータ解析をしていただいた話～第7回ケモインフォマティクス入門講座～
受講者のユーザーエクスペリエンスを大事にする 第7回ケモインフォマティクス入門講座 中級編 において講師 兼 ファシリテーターを務めてまいりました。内容としては、ケモメトリックスの基礎を学びサンプルデータなどでケモメトリックス手法を用いる...