データセット作成のときに注意する６つのこと
データ解析・機械学習を行うためには、データセットが必須です。エクセルファイルや実験ノートなどからデータを集めて、整理してまとめると思います。そのようにしてデータセットを作成するとき、注意することがあります。６つそれぞれ説明します。 1. x...
データ解析
「マンガでわかる統計学[回帰分析編]」 回帰分析の基礎を学びたい方へ
高橋信, 「マンガでわかる統計学」, オーム社, 2005 オーム社: Amazon: 「マンガでわかる統計学」の続編です。 今回は回帰分析についてです。最後に目的変数が 0, 1 の判別分析 (クラス分類) も取り上げられています。データ...
「マンガでわかるデータベース」 データベースの構築、運用、利用をする方へ
高橋信, 「マンガでわかるデータベース」, オーム社, 2005 オーム社: Amazon: データ解析・機械学習をするときには、必ずデータセットが必要になります。そのようなデータセットを含むデータベースの内容やデータベースを構築する方法、...
モデルを運用することを想定して、モデルの設計をしましょう！
説明変数 X と目的変数 Y の間でモデル Y = f(X) を構築するとき、やはり今あるデータで構築できる最適なモデルを構築したいと思います。そのためモデルを設計します。新たな X を提案・作成したり、X の組み合わせを選んだり、回帰分析...
「確率統計キャンパス・ゼミ」 統計学の基礎から色々な検定・推定、確率密度関数、ベイズの定理、マルコフ過程・マルコフ連鎖の基礎まで
馬場敬之, 「確率統計キャンパス・ゼミ」(改訂5までは「統計学キャンパス・ゼミ」), マセマ出版社, 2023 (改訂8) マセマ出版社: Amazon: 統計学についてわかりやすく学べる本です。以前に紹介した「マンガでわかる統計学」より内...
意識と無意識、形式知と暗黙知、言語と非言語～データ解析・機械学習におけるヒヨコのオスメスを見分け方をすべて言語化できるか？～
データ解析や機械学習の相談を受けるとき、背景やデータの内容を聞くだけで、上手くいきそうとか、上手くいかなさそうとか、感覚的にわかることがあります。実際にデータを見るとその確度が高まりますが、データを見なくても、ある程度わかったりします。 た...
「マンガでわかる統計学」 データって何？から、データ解析の基礎の基礎を学びたい方へ
高橋信, 「マンガでわかる統計学」, オーム社, 2004 オーム社: Amazon: データ解析・機械学習をするときに、統計学は事前に学習すべき学問の一つです。扱うデータの種類として、どのようなものがあるかを把握しておく必要がありますし、...
「微分積分キャンパス・ゼミ」 微分積分の基礎、そしてラグランジュの未定乗数法を学びたい方へ
馬場敬之, 「微分積分キャンパス・ゼミ」, マセマ出版社, 2023 (改訂9) マセマ出版社: Amazon: 微分・積分についてわかりやすく学べる本です。以前に紹介した「マンガでわかる微分積分」より内容は充実していますが、難易度が上がり...
X と Y が一貫した関係をもつようなデータセットの作り方
説明変数 X と目的変数 Y の間で回帰モデル Y = f(X) を構築するとき、X と Y の間の関係は一貫している必要があります。下の図をご覧ください。 上の (a) の図では、X と Y の間の関係は一貫していません。X の値が p ...
「マンガでわかる微分積分」 関数って何？から、微分積分の基礎を学びたい方へ
小島寛之, 「マンガでわかる微分積分」, オーム社, 2005 オーム社: Amazon: データ解析や機械学習の多くの手法において、アルゴリズムの導出に微分・積分、主に微分が使われています。各手法の目的や各手法で達成したいことから、実際の...