ディープラーニングは高性能ですが、通常は 大量のデータと計算資源 が必要です。
この制約を緩和し、少ないデータでも高い性能を発揮できる方法が 転移学習（Transfer Learning） と ファインチューニング（Fine-tuning） です。
また、学習の過程で問題となる 破壊的忘却（Catastrophic Forgetting） も重要なトピックです。
転移学習（Transfer Learning）
定義
- あるタスクで学習した知識を、別のタスクに応用する手法。
背景
- 画像認識・NLPでは大規模データセット（ImageNet, Wikipediaなど）で学習したモデルを再利用するのが一般的。
利点
- データ不足の分野でも高精度を実現。
- 学習コストを削減。
👉 試験頻出：「転移学習は大規模データで学習したモデルを別タスクに再利用する手法」。
ファインチューニング（Fine-tuning）
定義
- 転移学習の一種で、事前学習済みモデルを特定タスクに合わせて微調整する手法。
方法
- 事前学習モデル（Pre-trained Model）を読み込む。
- 出力層（分類層など）を目的タスク用に置き換える。
- 全層または一部を再学習する。
例
- 画像認識：ResNetをImageNetで事前学習 → 医療画像診断に適用。
- NLP：BERTを事前学習 → 質問応答や感情分析にファインチューニング。
事前学習モデル（Pre-trained Models）
定義
- 大規模データで学習済みのモデルを公開し、転移学習やファインチューニングに活用可能。
代表例
- 画像：ResNet, EfficientNet, Vision Transformer (ViT)
- 言語：BERT, GPT, T5
👉 試験で狙われる：「事前学習モデルの利用により、少ないデータでも高精度が可能になる」。
破壊的忘却（Catastrophic Forgetting）
定義
- 新しいタスクを学習する際に、過去のタスクの知識を急激に忘れてしまう現象。
発生理由
- ニューラルネットワークが新しいデータに適応する過程で、既存の重みが大きく変化するため。
対策
- 逐次学習（Continual Learning） の研究が盛ん。
- Elastic Weight Consolidation (EWC)：重要な重みの変化を抑制。
- リプレイ法：過去データを一部保存して再利用。
👉 試験頻出：「破壊的忘却は転移学習や逐次学習で問題となる」。
まとめ
- 転移学習：大規模データで学習した知識を別タスクに応用。
- ファインチューニング：事前学習モデルを特定タスクに微調整。
- 事前学習モデル：ResNet, BERT, GPTなどが公開され、幅広く利用可能。
- 破壊的忘却：新タスク学習で過去の知識を失う問題。対策としてEWCやリプレイ法が研究されている。
出題傾向
- 「転移学習の定義は？」
- 「ファインチューニングの流れは？」
- 「事前学習モデルの利点は？」
- 「破壊的忘却の原因と対策は？」
練習問題（例題）
問題：新しいタスクを学習する際に、過去の知識を急激に失ってしまう現象を何と呼ぶか？
- 過学習
- 勾配消失
- 破壊的忘却
- 汎化不足
👉 正解：3
