ディープラーニングは高性能ですが、「なぜその予測をしたのか」 が分かりにくい「ブラックボックス問題」を抱えています。
これに対処するのが モデルの解釈性（Interpretability） を高める技術、すなわち XAI（Explainable AI） です。
XAI（Explainable AI）
定義
- AIの判断過程を人間に理解できる形で説明可能にするアプローチ。
重要性
- 医療・金融・法務など説明責任が求められる分野で必須。
- バイアスや不公平性の検出にも役立つ。
👉 試験ポイント：「XAIはブラックボックス問題を解決するために必要」。
SHAP（SHapley Additive exPlanations）
特徴
- ゲーム理論（Shapley値）に基づき、各特徴量の貢献度を定量化。
- 「どの特徴量が予測にどれだけ寄与したか」を公平に説明できる。
応用
- 信用スコアの説明（なぜ融資が却下されたか）
- 医療診断の根拠提示
👉 試験頻出：「SHAPは特徴量ごとの寄与度を公平に計算する」。
LIME（Local Interpretable Model-agnostic Explanations）
特徴
- 任意のモデルを局所的に近似することで予測根拠を説明。
- 入力データの周囲に擬似データを生成し、その出力をシンプルなモデルで近似。
利点
- モデル非依存（ブラックボックスでも利用可能）。
応用
- テキスト分類（どの単語が予測に影響したかを可視化）。
- 画像認識（どの領域が分類結果に寄与したかを示す）。
👉 試験ポイント：「LIMEは局所的に単純モデルで近似し、予測を説明する」。
Grad-CAM（Gradient-weighted Class Activation Mapping）
特徴
- CNNの分類タスクで、どの領域が分類に寄与したかをヒートマップで可視化。
- 勾配情報を利用して特徴マップを強調。
応用
- 医療画像診断（腫瘍がどの領域にあるかを示す）。
- 自動運転（車の検出根拠を可視化）。
👉 試験頻出：「Grad-CAMは画像認識において重要領域を可視化する」。
まとめ
- XAI：ブラックボックス問題を解決するための枠組み。
- SHAP：特徴量ごとの寄与度をShapley値に基づき算出。
- LIME：局所的に単純モデルで近似して説明。
- Grad-CAM：画像認識で重要領域を可視化。
出題傾向
- 「XAIが重要視される理由は？」＝説明責任、バイアス検出
- 「SHAPの特徴は？」＝特徴量ごとの寄与度を公平に算出
- 「LIMEの特徴は？」＝モデル非依存、局所近似
- 「Grad-CAMの特徴は？」＝CNNの分類根拠をヒートマップ表示
練習問題（例題）
問題：次のうち、画像認識で「分類に寄与した領域」をヒートマップで示す手法はどれか？
- SHAP
- LIME
- Grad-CAM
- PCA
👉 正解：3
