AIは高い性能を発揮する一方で、「なぜその判断に至ったのか」がわかりにくいという課題があります。
これを ブラックボックス問題 と呼び、信頼性や説明責任に直結するため、社会実装の大きな障害となっています。
ブラックボックス問題
定義
- AIの判断過程が複雑で、人間が理解できない状態。
- 特にディープラーニングは多層の重みと非線形計算を行うため、内部構造を解釈するのが困難。
影響
- 説明責任（Accountability）の欠如。
- 医療・金融など高リスク分野では「説明できない判断」は受け入れられにくい。
- 不当な差別や誤判断が発生した場合に、原因特定が困難。
XAI（Explainable AI）
定義
- 人間に理解可能な形でAIの判断根拠を示す技術・アプローチ。
代表的手法
- LIME（Local Interpretable Model-agnostic Explanations）
- 予測時に重要だった特徴量を局所的に説明。
- SHAP（SHapley Additive exPlanations）
- ゲーム理論に基づき、各特徴量の貢献度を算出。
- Grad-CAM（Gradient-weighted Class Activation Mapping）
- CNNモデルにおいて、画像中のどの領域が予測に影響したかを可視化。
応用例
- 医療診断AI → どの部分の画像が「腫瘍」と判断されたのかを提示。
- 金融AI → ローン審査でどの属性が重要だったかを説明。
透明性と実務上の課題
- 透明性 vs 精度のトレードオフ
- 高精度モデルほど解釈困難になりやすい。
- ユーザー向け説明
- 技術的詳細ではなく、利用者が理解できるレベルで説明する必要がある。
- 規制動向
- EU AI Act では「高リスクAI」に対して説明可能性を義務付け。
まとめ
- ブラックボックス問題：AI判断が不透明で説明困難。
- XAI：SHAP、LIME、Grad-CAMなどの手法で透明性を高める。
- 実務では「ユーザーが納得できる説明」が重視される。
出題チェック
- 「ブラックボックス問題とは何か？」
- 「SHAPやLIMEは何のための手法か？」
- 「EU AI Actが高リスクAIに求めるのは？」＝説明可能性
練習問題（例題）
問題：画像診断AIが腫瘍を検出した際に、画像のどの領域を根拠として判断したかを可視化する技術はどれか？
- LIME
- SHAP
- Grad-CAM
- データ拡張
👉 正解：3
