ディープラーニングの成功を支えるのは、多様な 要素技術（アーキテクチャや工夫） です。
本節では代表的な構造や技術を整理し、試験によく出題される観点とともに解説します。
CNN（畳み込みニューラルネットワーク）
特徴
- 画像処理に強いニューラルネットワーク。
- 畳み込み層で特徴を抽出し、プーリング層で圧縮。
応用
- 画像分類（ImageNet）
- 医用画像診断（腫瘍検出など）
- 自動運転（カメラ画像解析）
👉 試験ポイント：「CNNは画像認識に強い理由＝局所特徴を捉える畳み込み層」。
RNN（リカレントニューラルネットワーク）
特徴
- 時系列データや**系列データ（文章など）**を扱うネットワーク。
- 出力を次の入力にフィードバックする構造。
課題
- 長期依存関係を扱うと勾配消失／爆発が発生。
改良
- LSTM（Long Short-Term Memory）
- GRU（Gated Recurrent Unit）
応用
- 音声認識
- 機械翻訳
- 株価予測
👉 試験頻出：「LSTMはRNNの勾配消失問題を解決するために開発された」。
Attention（自己注意機構）
特徴
- 入力系列の中で「どの部分に注目するか」を学習する仕組み。
- 全体の情報を効率よく処理できる。
Transformer
- Attentionをベースにしたアーキテクチャ。
- BERTやGPTなど大規模言語モデルの基盤。
応用
- 自然言語処理（翻訳、要約、対話AI）
- 音声認識
- 画像認識（Vision Transformer）
👉 試験で狙われる：「Attentionは系列データの重要部分に重み付けを行う」。
オートエンコーダ（Autoencoder）
特徴
- 入力を圧縮し、再構成することで特徴を抽出するニューラルネットワーク。
- 符号化（Encoder） → 潜在表現（Latent Space） → 復号化（Decoder）。
応用
- 次元削減
- 画像のノイズ除去
- 異常検知（再構成誤差が大きいものを「異常」と判定）
👉 試験頻出：「オートエンコーダは教師なし学習の一種」。
データ拡張（Data Augmentation）
特徴
- 学習データを人工的に増やして過学習を防止する手法。
手法例
- 画像：回転、反転、切り取り、色調補正
- 音声：ノイズ付与、ピッチ変換
- テキスト：同義語置換、ランダム削除
👉 試験ポイント：「データ拡張は過学習を防ぎ、汎化性能を高める」。
スキップ結合（Residual Connection, ResNet）
特徴
- 出力に入力を直接足し合わせる構造。
- 勾配消失を防ぎ、非常に深いネットワークを学習可能にした。
成果
- ResNet（2015年、ImageNetで優勝）により、数百層のディープネットワークが実現。
👉 試験頻出：「スキップ結合は勾配消失問題を解決する技術」。
まとめ
- CNN：画像認識に強い
- RNN/LSTM/GRU：時系列・系列データ処理に強い
- Attention/Transformer：自然言語処理のブレイクスルー
- オートエンコーダ：教師なし学習、特徴抽出・異常検知
- データ拡張：学習データを人工的に増やす手法
- スキップ結合（ResNet）：勾配消失を防ぎ、超深層ネットを可能に
出題傾向
- 「CNNの特徴は？」＝画像認識
- 「RNNの課題とその改良版は？」＝勾配消失問題、LSTM/GRU
- 「Attentionの役割は？」＝系列データの重要部分に重み付け
- 「オートエンコーダの用途は？」＝次元削減、異常検知
- 「データ拡張の目的は？」＝過学習防止
- 「スキップ結合を導入したモデルは？」＝ResNet
練習問題（例題）
問題：次のうち「勾配消失を防ぎ、非常に深いニューラルネットワークを可能にした技術」はどれか？
- Dropout
- Batch Normalization
- Residual Connection（スキップ結合）
- Contrastive Loss
👉 正解：3
