機械学習では、単に学習させるだけでなく「どのモデルを選び、どのように評価するか」が極めて重要です。
G検定では 過学習、交差検証、混同行列、ROC・AUC、誤差指標（MSE, RMSE, MAE） が頻出ポイントです。
モデル選択の基本
- 機械学習では、複数のアルゴリズム（例：SVM、決定木、ニューラルネットワーク）が候補となる。
- その中から 最適なモデルを選ぶ基準 は以下：
- 汎化性能（未知データに対する予測力）
- 評価指標（分類なら精度・再現率、回帰なら誤差指標）
- タスク特性（分類／回帰、データの性質）
過学習（Overfitting）
- 定義：学習データに過度に適合し、未知データへの予測性能が低下する状態。
- 原因：モデルが複雑すぎる／学習データが少ない。
- 対策：
- 正則化（L1/L2）
- 交差検証
- 学習データの拡張（Data Augmentation）
- モデルの単純化
👉 試験頻出：「過学習の定義と対策」。
交差検証（Cross Validation）
- 目的：汎化性能を正しく評価する。
- 方法：
- データを「学習用」「検証用」「テスト用」に分ける。
- 特に「k分割交差検証」が代表的。
k分割交差検証
- データをk個に分割。
- 1つを検証用、残りを学習用にして学習・評価。
- これをk回繰り返し、平均精度を算出。
👉 ポイント：データ不足の状況でも評価の信頼性を高められる。
分類モデルの評価指標
混同行列（Confusion Matrix）
- 分類モデルの性能を表す基本表。
| 予測：陽性 | 予測：陰性 | |
|---|---|---|
| 実際：陽性 | True Positive (TP) | False Negative (FN) |
| 実際：陰性 | False Positive (FP) | True Negative (TN) |
精度（Accuracy）
(TP + TN) / 全体- 全体のうち正しく予測できた割合。
適合率（Precision）
TP / (TP + FP)- 「陽性と予測した中で本当に陽性だった割合」。
再現率（Recall）
TP / (TP + FN)- 「本当の陽性をどれだけ正しく陽性と予測できたか」。
F値（F1-score）
- 適合率と再現率の調和平均。
- 不均衡データに強い。
ROC曲線とAUC
- ROC曲線：偽陽性率（FPR）と真陽性率（TPR）の関係を可視化。
- AUC（Area Under the Curve）：ROC曲線の下の面積。1に近いほど良いモデル。
👉 試験頻出：「PrecisionとRecallの違い」「AUCの意味」。
回帰モデルの評価指標
平均二乗誤差（MSE）
(実際値 - 予測値)^2 の平均- 大きな誤差を強調する。
平方根平均二乗誤差（RMSE）
√MSE- 元の単位で誤差を解釈できる。
平均絶対誤差（MAE）
|実際値 - 予測値| の平均- 外れ値の影響を受けにくい。
👉 試験頻出：「MSE／RMSE／MAEの違い」。
まとめ
- 過学習：学習データに適合しすぎて汎化性能が低下。
- 交差検証：汎化性能を見積もる代表手法。
- 分類評価：混同行列、Precision、Recall、F1、ROC・AUC。
- 回帰評価：MSE、RMSE、MAE。
- モデル選択：タスクに応じて指標を使い分けることが重要。
出題傾向
- 「過学習の定義」
- 「交差検証の目的」
- 「PrecisionとRecallの違い」
- 「AUCの意味」
- 「回帰モデルの評価指標」
練習問題（例題）
問題：次のうち「回帰モデルの評価指標」として正しいものはどれか？
- 混同行列
- AUC
- MSE
- Precision
👉 正解：3
