統計的機械学習の数理100問 With Python 機械学習の数理100問シリーズ

機械学習の書籍としておびただしい数の書籍が出版されているが，ななめ読みで終わる，もしくは難しすぎて読めないものが多く，「身につける」という視点で書かれたものは非常に少ないと言ってよい。本書は，100の問題を解くという演習のスタイルをとりながら，数式を導き，Pythonのソースプログラムを追い，具体的に手を動かしてみて，読者が自分のスキルにしていくことを目的としている。
　本書は各章で解説のあとに問題を掲載している。解説を読んでから問題を解くこともできるが，まず問題から取り組む読み方もできる。その場合，数学の問題において導出の細部がわからなくても，解説に戻ればわかるようになっている。
　「機械学習の数理100問」は，2018年後期と2019年後期の大阪大学基礎工学部情報科学科数理科学コース3年の講義でも使われ，また公開講座「機械学習・データ科学スプリングキャンプ」2018, 2019でも多くの参加者に解かれ，高い評価を得ている。また，その間に改良を重ねている。問題をすべて独力で解くのは，大学院生か学部の上位10%程度，もしくはその分野の研究開発に携わっていないと難しいかもしれないが，解説を読むだけでも十分な意味がある。
　なお，本書は"Elements of Statistical Learning"（邦訳は共立出版『統計的学習の基礎』）や"Introduction to Statistical Learning with R"（邦訳は朝倉書店『Rによる統計的学習入門』）といった，統計的機械学習の世界的ベストセラーに準拠していて，レベル的にそれらの中間的なものになっている。前者は事典に近く，読者が何かを身につけるために書かれた書籍ではない。後者は初心者を対象として，感覚的な理解を促してパッケージを使わせることに終始し，本質に近づく視点が欠如していると言わざるを得ない。
　本書を読むことで，機械学習に関する知識が得られることはもちろんだが，脳裏に数学的ロジックを構築し，プログラムを構成して具体的に検証していくという，データサイエンス業界で活躍するための資質が得られる。本書は「数理」「情報」「データ」といった人工知能時代を勝ち抜くために必須のスキルを身につけるための，うってつけの書籍である。

目次
第０章　線形代数
0.1　逆行列
0.2　行列式
0.3　一次独立性
0.4　ベクトル空間とその次元
0.5　固有値と固有ベクトル
0.6　正規直交基底と直交行列
0.7　対称行列の対角化
付録　命題の証明

第１章　線形回帰
1.1　最小二乗法
1.2　重回帰
1.3　$\hat{\beta}$の分布
1.4　RSSの分布
1.5　$\hat{\beta}_j \not= 0$の仮説検定
1.6　決定係数と共線形性の検出
1.7　信頼区間と予測区間
付録　命題の証明

問題1〜18

第２章　分類
2.1　ロジスティック回帰
2.2　Newton-Raphson法の適用
2.3　線形判別と二次判別
2.4　K近似法
2.5　ROC曲線

問題19〜31

第３章　リサンプリング
3.1　クロスバリデーション
3.2　線形回帰の場合の公式
3.3　ブートストラップ
付録　命題の証明

問題32〜39

第４章　情報量基準
4.1　情報量基準
4.2　有効推定量とFisher情報量行列
4.3　Kullback-Leibler情報量
4.4　赤池の情報量基準(AIC)の導出
付録　命題の証明

問題40〜48

第５章　正則化
5.1　Ridge
5.2　劣微分
5.3　Lasso
5.4　RidgeとLassoを比較して
5.5　λの値の設定

問題49〜56

第６章　非線形回帰
6.1　多項式回帰
6.2　スプライン回帰
6.3　自然なスプライン関数への回帰
6.4　平滑化スプライン
6.5　局所回帰
6.6　一般化加法モデル
付録　命題の証明

問題57〜68

第７章　決定木
7.1　回帰の決定木
7.2　分類の決定木
7.3　バギング
7.4　ランダムフォレスト
7.5　ブースティング

問題69〜74

第８章　サポートベクトルマシン
8.1　最適な境界
8.2　最適化の理論
8.3　サポートベクトルマシンの解
8.4　カーネルを用いたサポートベクトルマシンの拡張
付録　命題の証明

問題75〜87

第９章　教師なし学習
9.1　K-meansクラスタリング
9.2　階層的クラスタリング
9.3　主成分分析
付録　プログラム

問題88〜100

【著者紹介】
鈴木讓 : 大阪大学教授、博士（工学）。１９８４年早稲田大学理工学部卒業、１９８９年早稲田大学大学院博士課程修了、同大学理工学部助手、１９９２年青山学院大学理工学部助手、１９９４年大阪大学理学部に（専任）講師として着任。Ｓｔａｎｆｏｒｄ大学客員助教授（１９９５年〜１９９７年）、Ｙａｌｅ大学客員准教授（２００１年〜２００２年）などを経て、現職（基礎工学研究科数理科学領域、基礎工学部情報科学科数理科学コース）。データ科学、機械学習、統計教育に興味を持つ。現在もトップ会議として知られるＵｎｃｅｒｔａｉｎｔｙ　ｉｎ　Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅで、ベイジアンネットワークに関する研究発表をしている（１９９３年７月）（本データはこの書籍が刊行された当時に掲載されていたものです）