データ解析

応化先生と生田さんが、階層的クラスタリング(クラスター分析)について話しています。 応化：今日は階層的クラスタリングの話をします。 生田：よろしくお願いします。クラスタリングって、クラス分類と名前の似ているアレですよね。 応化：そうですね。...

たまにクラス分類 (classification) とクラスタリング (clustering) を混同する人がいますが、クラス分類とクラスタリングとは全く別物です。逆の意味で使ってしまうことのないようにするためにも、それぞれの意味合いを押さ...

データ化学工学研究室 (金子研) では、化学・化学工学に関する人工知能の研究や人工知能を応用した研究をしています。人工知能は、無から勝手に発生するわけではなく、人工知能を学習させる必要があります。 ただ、特別な “学習” をさせているわけで...

回帰分析やクラス分類をするとき、大きな目的の一つは、新しいサンプルに対する推定性能が高いモデルを構築することです。なので、モデルを構築したとき、そのモデルの 新しいサンプルに対する推定性能を検証する必要があります。 今、いくつかのサンプル・...

トレーニングデータ・バリデーションデータ・テストデータの定義について書いておきます。バリデーションデータとテストデータとを逆の意味に使う人もいますが、ここでは wikipedia に記載されている内容にあわせます。 トレーニング、つまり学習...

どうして クロスバリデーション しないの？ データ解析をしていると、いろいろな理由でクロスバリデーションを使いたくない、もしくはクロスバリデーションを使えないことがあります。 一つはサンプルが少なすぎるときです。クロスバリデーションでは、最...

今年度分の講義の内容の書かれたシラバスについては、学部はこちらから、大学院はこちらから見ることができます。ちょうど今は来年度分のシラバスを作成する時期でして、今年度の講義における学生からのフィードバックを参考にして、作り終えました。そこで、...

よく、主成分分析(Principal Component Analysis, PCA) と比べられることが多い、独立成分分析 (Independent Component Analysis, ICA) についてです。 PCA ではデータを低...

回帰モデルやクラス分類モデルを検証するときの話です。 モデルの検証 一般的には、データセットが与えられたとき、サンプルをモデル構築用サンプル (トレーニングデータ, training dataset) とモデル検証用サンプル (テストデータ...

スペクトル解析のときや、時系列データを扱うときの話です。 いくつかの点でスペクトルデータと時系列データは似ています。たとえば、隣同士の値が似ているっていう点ですね。他にも、データにノイズが含まれるという点も共通した特徴です。 このようにスペ...