G検定（ジェネラリスト検定）「ディープラーニング数理・最適化の発展問題」の一問一答

G検定（ジェネラリスト検定）のディープラーニング数理・最適化の発展問題に関する一問一答（全75問）の正解と解説の一覧です。上の一問一答で実際に解いてから、ここで復習・確認できます。

1. 問1．単純パーセプトロンは線形分離可能な問題しか解けず、XOR問題を単独では解くことができない。

   正解：○（正しい）

   解説：単純パーセプトロンは1本の直線で分離できる線形分離可能な問題のみ解ける。非線形なXORは多層化と隠れ層により初めて表現でき、これがニューラルネットワーク多層化の動機となった。

2. 問2．万能近似定理によれば、十分な数のユニットを持つ1層の隠れ層と非線形活性化関数があれば、任意の連続関数を任意の精度で近似できる。

   正解：○（正しい）

   解説：万能近似定理は隠れ層1層でも幅を十分大きくすれば任意の連続関数を近似可能と保証する。ただし学習可能性や効率は別問題で、実用上は深い層を重ねる方がパラメータ効率が良いことが多い。

3. 問3．ニューラルネットワークの隠れ層が増えるほど表現力は高まる一方、勾配消失や過学習などの学習上の問題が生じやすくなる。

   正解：○（正しい）

   解説：層を深くすると複雑な特徴を階層的に学習できるが、誤差逆伝播時に勾配が小さくなる勾配消失やパラメータ過多による過学習が顕在化する。これらを緩和する技術が深層学習の発展を支えた。

4. 問4．ReLU関数は入力が負の領域で出力が常に0となるため、その領域では勾配が0になり、ニューロンが学習しなくなるdying ReLU問題が起こりうる。

   正解：○（正しい）

   解説：ReLUは負入力で出力0・勾配0となるため、一度負側に入ると重みが更新されず死んだニューロンが生じる。これをdying ReLU問題と呼び、Leaky ReLUなどが負側にも微小な勾配を持たせて対処する。

5. 問5．シグモイド関数は出力が0から1の範囲に収まるが、入力の絶対値が大きい領域では勾配がほぼ0になり、勾配消失を招きやすい。

   正解：○（正しい）

   解説：シグモイドは飽和領域で微分値が0に近づくため、層を遡るほど勾配が指数的に小さくなり勾配消失を引き起こす。これが深いネットワークでReLUが好まれる主因の一つとなっている。

6. 問6．Leaky ReLUは入力が負の領域でも傾きを完全に0にせず、わずかな勾配を持たせることでdying ReLU問題を緩和する。

   正解：○（正しい）

   解説：Leaky ReLUは負側でαx（αは小さな正の定数）とすることで負入力でも勾配が消えず、ニューロンが死ぬのを防ぐ。PReLUはこの傾きαを学習可能なパラメータとして扱う発展形である。

7. 問7．GELUやSwishはReLUを滑らかにしたような形状を持つ活性化関数で、Transformerなど近年のモデルで広く採用されている。

   正解：○（正しい）

   解説：GELUは入力を正規分布の累積分布関数で重み付けする滑らかな関数、Swishはx・シグモイド(x)で定義される。いずれも負側でわずかに非零値を取り、BERTやGPT系で標準的に使われている。

8. 問8．ソフトマックス関数は入力を指数化してから総和で割るため、すべての出力が非負かつ総和が1になり、交差エントロピー損失と組み合わせると勾配計算が簡潔になる。

   正解：○（正しい）

   解説：ソフトマックスは各値を指数化し総和で正規化することで非負かつ総和1の確率ベクトルを得る。ソフトマックスと交差エントロピーを組むと出力と正解の差に比例した勾配となり、計算が簡潔で学習が安定する。

9. 問9．誤差逆伝播法は、出力層で計算した誤差を入力層に向かって伝播させ、連鎖律を用いて各重みの勾配を効率的に計算する手法である。

   正解：○（正しい）

   解説：バックプロパゲーションは合成関数の微分である連鎖律を用い、出力側から入力側へ勾配を順次伝播する。これにより各パラメータの偏微分を1回の逆向き計算でまとめて求められ計算効率が高い。

10. 問10．勾配消失問題は、シグモイドやtanhのような飽和しやすい活性化関数を多層で用いた際に特に顕著に現れる。

    正解：○（正しい）

    解説：飽和型活性化関数は微分の最大値が小さく、層を遡るたびに1未満の値が掛け合わされ勾配が指数的に減衰する。ReLU系の採用や残差接続、適切な初期化がこの問題の緩和策となっている。

11. 問11．平均二乗誤差（MSE）は主に回帰問題で用いられ、予測値と正解値の差の二乗の平均で誤差を評価する。

    正解：○（正しい）

    解説：MSEは連続値を予測する回帰タスクで標準的に使われ、誤差を二乗するため大きな外れに強くペナルティを課す。微分が滑らかで最適化しやすいが、外れ値に敏感という性質も持つ。

12. 問12．交差エントロピー誤差は分類問題で用いられ、予測した確率分布と正解の分布の差異が大きいほど大きな値をとる。

    正解：○（正しい）

    解説：交差エントロピーは正解クラスの予測確率の対数を負にした値で評価し、確信を持って外すほど損失が急増する。ソフトマックス出力と組み合わせると勾配計算が簡潔になり分類で広く使われる。

13. 問13．モメンタムは過去の勾配を慣性として加味することで、振動を抑えつつ谷を滑り降りるように収束を速める最適化手法である。

    正解：○（正しい）

    解説：モメンタムは過去の更新量を一定割合で蓄積し現在の勾配に加える。これにより勾配方向が一貫する次元では加速し、振動する次元では相殺されるため、SGD単独より滑らかで速い収束が期待できる。

14. 問14．Adamはモメンタム（勾配の1次モーメント）とRMSProp（勾配の2次モーメント）の考え方を組み合わせた適応的学習率最適化手法である。

    正解：○（正しい）

    解説：Adamは勾配の指数移動平均（1次モーメント）と二乗の指数移動平均（2次モーメント）を併用し、パラメータごとに学習率を適応的に調整する。収束が速く実用上のデフォルトとして広く使われる。

15. 問15．RMSPropは勾配の二乗の指数移動平均を用いることで、AdaGradの学習率が過度に減衰する問題を改善している。

    正解：○（正しい）

    解説：RMSPropは勾配二乗を単純累積せず指数移動平均で扱うため古い情報が徐々に忘却され、学習率が際限なく小さくなるのを防ぐ。これにより非定常な目的関数でも安定した更新が可能になる。

16. 問16．ドロップアウトは学習時にランダムに一部のニューロンを無効化することで、特定のニューロンへの依存を防ぎ過学習を抑制する。

    正解：○（正しい）

    解説：ドロップアウトは各更新で一定割合のユニットを確率的に無効化し、アンサンブル学習に近い効果で汎化性能を高める。推論時は全ニューロンを使い出力をスケール調整するのが一般的である。

17. 問17．He初期化はReLU系の活性化関数に適した重み初期化手法で、ReLUが負側を0にする性質を考慮して分散を設定する。

    正解：○（正しい）

    解説：He初期化はReLUが入力の約半分を0にすることを踏まえ、入力ユニット数に基づき分散を大きめに設定する。これにより深いReLUネットワークでも各層の信号の大きさが保たれ学習が安定する。

18. 問18．学習率のウォームアップは、学習初期に小さな学習率から徐々に増加させることで、初期段階の不安定な更新を防ぐ手法である。

    正解：○（正しい）

    解説：ウォームアップは訓練開始直後の勾配が不安定な時期に学習率を小さく抑え、その後目標値まで増やす。大規模バッチやTransformerの学習で発散を防ぎ安定した収束を促す目的で広く使われる。

19. 問19．ミニバッチ勾配降下法は、訓練データを小さなまとまりに分割して勾配を計算する手法で、計算効率と勾配の安定性のバランスを取れる。

    正解：○（正しい）

    解説：ミニバッチ法は数十〜数百サンプル単位で勾配を計算し更新する。バッチ法の安定性とSGDの計算効率・汎化性の良さを兼ね備え、GPUの並列計算とも相性が良いため深層学習の標準となっている。

20. 問20．多層パーセプトロンにおいて、すべての層の活性化関数を恒等写像（線形）にしても、層を深くすれば非線形な関数を表現できる。

    正解：×（誤り）

    解説：誤り。線形変換を何層重ねても合成は1つの線形変換に等価となり非線形性は生まれない。非線形な表現力を得るには各層に非線形活性化関数を挟む必要があり、線形のままでは深さの意味がない。

21. 問21．tanh関数の出力範囲は0から1であり、シグモイド関数と完全に同じ出力範囲を持つ。

    正解：×（誤り）

    解説：誤り。正しくはtanhの出力範囲は-1から1であり、0を中心とする。出力が0中心のため学習が安定しやすい利点がある一方、飽和領域で勾配消失する点はシグモイドと共通する。

22. 問22．ReLU関数はシグモイドと同様に飽和しやすく、正の入力領域でも勾配が0に近づくため勾配消失を強く引き起こす。

    正解：×（誤り）

    解説：誤り。正しくはReLUは正の領域で勾配が常に1で飽和せず、勾配消失を起こしにくい。これがReLUが深層ネットワークの中間層でシグモイドより好まれる大きな理由の一つである。

23. 問23．ソフトマックス関数は回帰問題の出力層で連続値を直接予測するために用いられるのが一般的である。

    正解：×（誤り）

    解説：誤り。正しくはソフトマックスは多クラス分類の出力層で確率分布を出すために使う。回帰で連続値を予測する出力には恒等関数を用いるのが一般的で、用途が逆になっている。

24. 問24．誤差逆伝播法は連鎖律を使わずに各層の勾配を独立に計算するため、層の数が増えても計算量はほとんど変わらない。

    正解：×（誤り）

    解説：誤り。正しくは誤差逆伝播法は連鎖律によって層を跨いで勾配を順に伝播させる手法である。各層の勾配は前後の層の勾配に依存しており、独立に計算するという記述は成り立たない。

25. 問25．勾配爆発とは、勾配が層を遡るうちに指数的に小さくなり入力側の層が更新されにくくなる現象を指す。

    正解：×（誤り）

    解説：誤り。勾配が指数的に小さくなる現象は勾配消失である。正しくは勾配爆発は勾配が指数的に大きくなって更新が発散する現象で、勾配クリッピングなどで対処する。両者は逆方向の問題である。

26. 問26．KLダイバージェンスは二つの確率分布間の差異を測る指標であり、対称性を持つため距離の公理を完全に満たす。

    正解：×（誤り）

    解説：誤り。正しくはKLダイバージェンスはKL(P||Q)≠KL(Q||P)で対称性を持たず、三角不等式も満たさないため数学的な距離ではない。あくまで分布間の非対称な差異の尺度である。

27. 問27．分類問題の損失には平均二乗誤差（MSE）を用いるのが標準で、交差エントロピーは回帰問題専用の損失関数である。

    正解：×（誤り）

    解説：誤り。正しくは分類には交差エントロピー、回帰にはMSEを用いるのが標準である。記述は両者の用途が逆になっており、交差エントロピーが回帰問題専用というのも事実に反する説明である。

28. 問28．確率的勾配降下法（SGD）は全訓練データを用いて勾配を計算してから1回だけ重みを更新する手法である。

    正解：×（誤り）

    解説：誤り。正しくは全データで勾配を計算するのはバッチ勾配降下法である。SGDは1サンプル（または少数）ごとに勾配を計算し頻繁に更新する手法で、ノイズはあるが計算が軽く局所解を抜けやすい。

29. 問29．AdaGradは学習が進むほど実効学習率が増加し続けるため、後半ほど更新が大きくなり発散しやすい欠点がある。

    正解：×（誤り）

    解説：誤り。正しくはAdaGradは勾配二乗の累積で学習率を割るため実効学習率は単調に減少し、後半ほど更新が小さくなって止まりやすい。記述は学習率の増減が逆になっている。

30. 問30．Adamは1次モーメントのみを利用する手法で、勾配の二乗（2次モーメント）は一切使わない最適化アルゴリズムである。

    正解：×（誤り）

    解説：誤り。正しくはAdamは勾配の1次モーメントと2次モーメント（勾配二乗の指数移動平均）の両方を利用する。2次モーメントを使わないのはモメンタム法であり、Adamの説明として成立しない。

31. 問31．AdamWは重み減衰を勾配計算に混ぜ込むことで、従来のAdamより正則化の干渉を強めた手法である。

    正解：×（誤り）

    解説：誤り。正しくはAdamWは重み減衰を勾配計算から分離（decoupled）して適用し、適応的学習率との干渉を解消した手法である。干渉を強めるのではなく弱める点で記述が逆である。

32. 問32．バッチ正規化はミニバッチに依存しないため、各サンプル単独で正規化でき推論時もバッチ統計を必要としない。

    正解：×（誤り）

    解説：誤り。正しくはバッチ正規化はミニバッチ単位の統計に依存し、推論時は学習中に蓄積した移動平均の統計を用いる。バッチに依存せず各サンプルで正規化するのはレイヤー正規化である。

33. 問33．レイヤー正規化はミニバッチのサイズに依存して正規化を行うため、バッチサイズが1の場合には適用できない。

    正解：×（誤り）

    解説：誤り。正しくはレイヤー正規化は各サンプルの特徴量方向で正規化するためバッチサイズに依存せず、バッチサイズ1やRNN・Transformerでも安定して機能する。バッチに依存するのはバッチ正規化である。

34. 問34．ドロップアウトは推論（テスト）時にも学習時と同じ割合でニューロンをランダムに無効化することで効果を発揮する。

    正解：×（誤り）

    解説：誤り。正しくは推論時はドロップアウトを行わず全ニューロンを使用する。学習時に無効化した割合に応じて出力をスケール調整し、期待値を一致させることで安定した予測を得るのが標準的である。

35. 問35．early stoppingは検証誤差が改善し続けている間に学習を止めることで、学習不足の状態を保ち過学習を防ぐ手法である。

    正解：×（誤り）

    解説：誤り。正しくはearly stoppingは検証誤差が悪化に転じた時点で学習を打ち切る手法である。改善中に止めるわけではなく、汎化性能が最良の地点で学習を終える狙いがある。

36. 問36．Xavier（Glorot）初期化はReLU専用に設計された手法であり、シグモイドやtanhに適用すると必ず勾配爆発を起こす。

    正解：×（誤り）

    解説：誤り。正しくはXavier初期化はシグモイドやtanhなど飽和型活性化関数向けに各層の分散を保つよう設計されている。ReLU専用ではなく、ReLUにはHe初期化が適するという点でも記述が誤りである。

37. 問37．ニューラルネットワークの重みをすべて同じ値（例えば0）で初期化しても、各ニューロンは異なる特徴を学習でき問題は生じない。

    正解：×（誤り）

    解説：誤り。正しくは全重みを同一値で初期化すると各ニューロンが同じ勾配で更新され続け対称性が崩れず、異なる特徴を学習できない。これを対称性の破れの問題と呼び、ランダム初期化が必要となる。

38. 問38．学習率は大きいほど常に学習が安定して速く収束するため、可能な限り大きな値に設定するのが最善である。

    正解：×（誤り）

    解説：誤り。正しくは学習率が大きすぎると最小値を飛び越え損失が発散・振動して収束しない。小さすぎると収束が遅くなるためトレードオフがあり、適切な値の探索やスケジューリングが重要である。

39. 問39．単純パーセプトロンが単独では解けない代表的な問題はどれか。

    • ア．XOR問題
    • イ．OR問題
    • ウ．AND問題
    • エ．NOT問題

    正解：ア．XOR問題

    解説：XOR問題は線形分離不可能であり、1本の直線で分けられないため単層パーセプトロンでは解けない。隠れ層を持つ多層パーセプトロンで非線形な決定境界を学習することで初めて解決できる。

40. 問40．十分な数の隠れユニットがあれば1層の隠れ層で任意の連続関数を近似できる、と述べる定理はどれか。

    • ア．ノーフリーランチ定理
    • イ．万能近似定理
    • ウ．中心極限定理
    • エ．ベイズの定理

    正解：イ．万能近似定理

    解説：万能近似定理は隠れ層1層でも幅を十分大きくすれば任意の連続関数を任意精度で近似できると示す。ただし学習の容易さや効率は保証せず、実用では深い構造の方がパラメータ効率が良い場合が多い。

41. 問41．ニューラルネットワークの基本構造に含まれない層はどれか。

    • ア．出力層
    • イ．中間層（隠れ層）
    • ウ．畳み込み専用層（必須）
    • エ．入力層

    正解：ウ．畳み込み専用層（必須）

    解説：基本的なニューラルネットワークは入力層・中間層・出力層から構成される。畳み込み層はCNN特有の構成要素であり、全結合型ネットワークの必須要素ではないため基本構造には含まれない。

42. 問42．出力が常に0から1の範囲に収まり、二値分類の出力層に使われる活性化関数はどれか。

    • ア．符号関数
    • イ．ReLU関数
    • ウ．恒等関数
    • エ．シグモイド関数

    正解：エ．シグモイド関数

    解説：シグモイド関数は出力を0から1に圧縮するため確率として解釈でき、二値分類の出力層で用いられる。一方で飽和領域では勾配が消失しやすく、中間層ではReLU系が好まれる傾向がある。

43. 問43．負の入力に対して出力を0にするが、正の入力はそのまま通す活性化関数はどれか。

    • ア．ReLU
    • イ．tanh
    • ウ．シグモイド
    • エ．ソフトマックス

    正解：ア．ReLU

    解説：ReLUはmax(0,x)で定義され、負入力を0に、正入力をそのまま出力する。計算が単純で正側の勾配が1のため勾配消失しにくく、深層学習の中間層で最も広く使われる活性化関数である。

44. 問44．dying ReLU問題を緩和するために負側にもわずかな傾きを持たせた活性化関数はどれか。

    • ア．ステップ関数
    • イ．Leaky ReLU
    • ウ．恒等関数
    • エ．シグモイド

    正解：イ．Leaky ReLU

    解説：Leaky ReLUは負側でαx（小さな正の係数）を出力し勾配を完全には0にしない。これによりニューロンが死ぬdying ReLU問題を緩和でき、傾きを学習するPReLUなどの発展形も存在する。

45. 問45．多クラス分類の出力層で、各クラスの出力を合計1の確率分布に変換する関数はどれか。

    • ア．ReLU
    • イ．tanh
    • ウ．ソフトマックス
    • エ．ハードシグモイド

    正解：ウ．ソフトマックス

    解説：ソフトマックスは各出力を指数化し総和で割って非負かつ総和1のベクトルにし、多クラスの所属確率を表す。交差エントロピー損失と組み合わせると勾配が簡潔になり分類で標準的に使われる。

46. 問46．Transformer系の近年のモデルでよく採用される、滑らかな形状の活性化関数の組み合わせはどれか。

    • ア．恒等関数とtanh
    • イ．ステップ関数とシグモイド
    • ウ．符号関数とReLU
    • エ．GELUとSwish

    正解：エ．GELUとSwish

    解説：GELUは正規分布の累積分布で入力を重み付けし、Swishはx・シグモイド(x)で定義される滑らかな関数である。いずれも負側にわずかな非零値を持ち、BERTやGPTなど近年のモデルで広く使われる。

47. 問47．誤差逆伝播法が各層の勾配を効率的に計算するために用いる数学的原理はどれか。

    • ア．連鎖律（合成関数の微分）
    • イ．ベイズの定理
    • ウ．中心極限定理
    • エ．大数の法則

    正解：ア．連鎖律（合成関数の微分）

    解説：誤差逆伝播法は合成関数の微分である連鎖律を用い、出力側から入力側へ勾配を順に伝播する。これにより各パラメータの偏微分を1度の逆向き計算でまとめて求められ、計算効率が大きく向上する。

48. 問48．深いネットワークで勾配が層を遡るうちに極端に小さくなり、入力側の層が学習しにくくなる現象はどれか。

    • ア．勾配爆発
    • イ．勾配消失
    • ウ．過学習
    • エ．次元の呪い

    正解：イ．勾配消失

    解説：勾配消失は連鎖律で1未満の微分値が掛け合わされ勾配が指数的に減衰する現象で、入力側の層がほとんど更新されない。ReLU採用や残差接続、適切な初期化が緩和策として用いられる。

49. 問49．勾配爆発に対する代表的な対策はどれか。

    • ア．学習率を無限大にする
    • イ．重みを0に固定する
    • ウ．勾配クリッピング
    • エ．活性化関数の削除

    正解：ウ．勾配クリッピング

    解説：勾配クリッピングは勾配のノルムが閾値を超えた場合にスケールダウンし、更新が発散するのを防ぐ。RNNなど勾配爆発が起こりやすいモデルで特に有効で、学習を安定化させる標準的な手法である。

50. 問50．回帰問題で標準的に用いられる損失関数はどれか。

    • ア．交差エントロピー誤差
    • イ．KLダイバージェンス
    • ウ．ヒンジ損失
    • エ．平均二乗誤差（MSE）

    正解：エ．平均二乗誤差（MSE）

    解説：MSEは予測値と正解値の差の二乗の平均で、連続値を予測する回帰タスクで標準的に使われる。微分が滑らかで最適化しやすい一方、誤差を二乗するため外れ値に敏感という性質も併せ持つ。

51. 問51．多クラス分類で予測確率分布と正解分布の差異を測る損失関数として一般的なものはどれか。

    • ア．交差エントロピー誤差
    • イ．平均二乗誤差
    • ウ．平均絶対誤差
    • エ．フーバー損失

    正解：ア．交差エントロピー誤差

    解説：交差エントロピーは正解クラスの予測確率の対数の負値で評価し、確信を持って外すほど損失が急増する。ソフトマックス出力と組み合わせると勾配計算が簡潔になり、分類問題で広く採用されている。

52. 問52．二つの確率分布間の差異を測る非対称な指標であり、距離の公理は満たさないものはどれか。

    • ア．ユークリッド距離
    • イ．KLダイバージェンス
    • ウ．マンハッタン距離
    • エ．コサイン類似度

    正解：イ．KLダイバージェンス

    解説：KLダイバージェンスはKL(P||Q)≠KL(Q||P)で対称性を持たず三角不等式も満たさないため距離ではない。分布間の差異の尺度として変分推論や知識蒸留など幅広い場面で利用される。

53. 問53．勾配の1次モーメントと2次モーメントの両方を利用する適応的学習率の最適化手法はどれか。

    • ア．SGD
    • イ．モメンタム
    • ウ．Adam
    • エ．AdaGrad

    正解：ウ．Adam

    解説：Adamは勾配の指数移動平均（1次モーメント）と二乗の指数移動平均（2次モーメント）を併用し、パラメータごとに学習率を適応調整する。収束が速く実務上のデフォルトとして広く使われている。

54. 問54．過去の勾配を慣性として蓄積し、振動を抑えつつ収束を速める最適化手法はどれか。

    • ア．AdaGrad
    • イ．通常のSGD
    • ウ．RMSProp
    • エ．モメンタム

    正解：エ．モメンタム

    解説：モメンタムは過去の更新量を一定割合で蓄積して現在の勾配に加える。勾配方向が一貫する次元では加速し、振動する次元では相殺されるため、純粋なSGDより滑らかで速い収束が期待できる。

55. 問55．過去の勾配二乗を累積し続けるため、学習が進むと実効学習率が過度に小さくなる欠点を持つ手法はどれか。

    • ア．AdaGrad
    • イ．モメンタム
    • ウ．Adam
    • エ．SGD

    正解：ア．AdaGrad

    解説：AdaGradは勾配二乗の累積で学習率を割るため累積増大とともに更新が止まりやすい。この問題を指数移動平均で緩和したのがRMSPropであり、さらにモメンタムを加えてAdamへ発展した。

56. 問56．Adamに対し重み減衰を勾配計算から分離して適用し、汎化性能の改善を狙った最適化手法はどれか。

    • ア．AdaGrad
    • イ．AdamW
    • ウ．RMSProp
    • エ．Nesterov

    正解：イ．AdamW

    解説：AdamWは重み減衰を更新式から分離（decoupled weight decay）して直接適用する。従来のAdamではL2正則化が適応的学習率と干渉していた問題を解消し、汎化性能の向上が報告されている。

57. 問57．RMSPropがAdaGradに対して導入した主要な改良点はどれか。

    • ア．学習率を完全に固定する
    • イ．勾配を使わない
    • ウ．勾配二乗を指数移動平均で扱う
    • エ．全データで更新する

    正解：ウ．勾配二乗を指数移動平均で扱う

    解説：RMSPropは勾配二乗を単純累積せず指数移動平均で扱うため古い情報が忘却され、学習率が際限なく減衰するのを防ぐ。これにより非定常な目的関数でも安定した更新が可能になる改良である。

58. 問58．学習時にランダムにニューロンを無効化して過学習を抑制する正則化手法はどれか。

    • ア．バッチ正規化
    • イ．重み減衰
    • ウ．データ拡張
    • エ．ドロップアウト

    正解：エ．ドロップアウト

    解説：ドロップアウトは各更新で一定割合のユニットを確率的に無効化し、特定ニューロンへの依存を減らしてアンサンブル的な効果で汎化性能を高める。推論時は全ニューロンを使い出力をスケール調整する。

59. 問59．各ミニバッチ内で中間層の出力を平均0分散1に正規化し、学習を安定化・高速化する手法はどれか。

    • ア．バッチ正規化
    • イ．early stopping
    • ウ．ドロップアウト
    • エ．L1正則化

    正解：ア．バッチ正規化

    解説：バッチ正規化はミニバッチ単位で正規化しスケールとシフトを学習する。内部共変量シフトを抑え高い学習率を許容するため収束が速まり、軽い正則化効果も得られるとされる代表的な手法である。

60. 問60．バッチサイズに依存せず各サンプルの特徴量方向で正規化を行い、RNNやTransformerで好まれる手法はどれか。

    • ア．バッチ正規化
    • イ．レイヤー正規化
    • ウ．ドロップアウト
    • エ．重み減衰

    正解：イ．レイヤー正規化

    解説：レイヤー正規化は各サンプル内の特徴量方向で正規化するためバッチサイズに依存せず、バッチサイズ1や系列長が可変なRNN・Transformerでも安定して機能する。バッチ依存のバッチ正規化と対照的である。

61. 問61．検証データの誤差が悪化に転じた時点で学習を打ち切る過学習対策はどれか。

    • ア．ドロップアウト
    • イ．バッチ正規化
    • ウ．early stopping
    • エ．学習率減衰

    正解：ウ．early stopping

    解説：early stoppingは検証損失を監視し改善が止まり悪化し始めたエポックで学習を停止する。訓練を続けると訓練データへ過適合するため、汎化性能が最良の地点でモデルを確定させる狙いがある。

62. 問62．損失関数に重みの大きさに対するペナルティを加えて過学習を抑える正則化はどれか。

    • ア．ドロップアウト
    • イ．データ拡張
    • ウ．early stopping
    • エ．重み減衰（L2正則化）

    正解：エ．重み減衰（L2正則化）

    解説：重み減衰は重みのL2ノルムなどをペナルティ項として加え、重みが過度に大きくなるのを抑えてモデルの複雑さを制限する。重みを原点方向へ縮小する効果を持ち過学習の緩和に寄与する。

63. 問63．シグモイドやtanhを用いる際に各層の信号の分散を保つよう設計された重み初期化はどれか。

    • ア．Xavier（Glorot）初期化
    • イ．ゼロ初期化
    • ウ．He初期化
    • エ．定数初期化

    正解：ア．Xavier（Glorot）初期化

    解説：Xavier初期化は入力と出力のユニット数を考慮して重みの分散を設定し、順伝播・逆伝播で信号の分散を保つ。飽和型活性化関数と相性が良く、勾配消失の緩和に寄与する初期化手法である。

64. 問64．ReLU系の活性化関数に適しており、半数の入力が0になる性質を考慮した重み初期化はどれか。

    • ア．Xavier初期化
    • イ．He初期化
    • ウ．一様乱数（範囲固定）
    • エ．全ゼロ初期化

    正解：イ．He初期化

    解説：He初期化はReLUが入力の約半分を0にすることを踏まえ入力ユニット数に基づき分散を大きめに設定する。これにより深いReLUネットワークでも各層の信号の大きさが保たれ学習が安定しやすくなる。

65. 問65．ニューラルネットワークの重みを全て同じ値で初期化したときに生じる問題はどれか。

    • ア．勾配爆発が必ず起こる
    • イ．学習率が0になる
    • ウ．対称性が破れず各ニューロンが同じ学習をする
    • エ．損失が負になる

    正解：ウ．対称性が破れず各ニューロンが同じ学習をする

    解説：全重みを同一値にすると各ニューロンが同じ勾配で更新され続け対称性が破れず、異なる特徴を学習できない。これを対称性の破れの問題と呼び、回避のためランダムな初期化が不可欠となる。

66. 問66．学習初期に学習率を小さい値から徐々に増やして不安定な更新を防ぐ手法はどれか。

    • ア．学習率減衰
    • イ．early stopping
    • ウ．勾配クリッピング
    • エ．ウォームアップ

    正解：エ．ウォームアップ

    解説：ウォームアップは訓練開始直後の勾配が不安定な時期に学習率を小さく抑え、その後目標値まで増やす手法である。大規模バッチやTransformerの学習で発散を防ぎ、安定した収束を促す目的で使われる。

67. 問67．学習率が大きすぎる場合に起こりやすい現象はどれか。

    • ア．損失が発散・振動する
    • イ．必ず大域最適解に収束する
    • ウ．勾配が消失する
    • エ．過学習が必ず防げる

    正解：ア．損失が発散・振動する

    解説：学習率が大きすぎるとステップ幅が大きく最小値を飛び越え、損失が発散したり振動したりして収束しない。逆に小さすぎると収束が極端に遅くなるため、適切な値の探索やスケジューリングが重要となる。

68. 問68．学習の終盤に学習率を小さくする減衰（decay）を行う主な目的はどれか。

    • ア．計算量を増やす
    • イ．最適解付近で細かく調整し収束を安定させる
    • ウ．過学習を意図的に促す
    • エ．勾配を爆発させる

    正解：イ．最適解付近で細かく調整し収束を安定させる

    解説：学習率減衰は序盤は大きく動いて大域的に探索し終盤は小さくして最適解付近で微調整する戦略である。ステップ減衰やコサインアニーリングがあり、固定学習率より安定した収束が得られる。

69. 問69．全訓練データを使って勾配を計算してから1回更新する勾配降下法はどれか。

    • ア．確率的勾配降下法（SGD）
    • イ．ミニバッチ勾配降下法
    • ウ．バッチ勾配降下法
    • エ．オンライン学習

    正解：ウ．バッチ勾配降下法

    解説：バッチ勾配降下法は全データで勾配を計算してから更新するため勾配は安定だが、巨大データでは1更新ごとに全件処理が必要で計算とメモリ負荷が大きい。大規模学習ではミニバッチ法が好まれる。

70. 問70．数十〜数百サンプル単位で勾配を計算し、計算効率と勾配の安定性のバランスを取る手法はどれか。

    • ア．バッチ勾配降下法
    • イ．ニュートン法
    • ウ．純粋なSGD
    • エ．ミニバッチ勾配降下法

    正解：エ．ミニバッチ勾配降下法

    解説：ミニバッチ勾配降下法は小さなまとまりごとに勾配を計算し更新する。バッチ法の安定性とSGDの効率・汎化性を兼ね、GPUの並列計算とも相性が良いため深層学習の標準的な学習方式となっている。

71. 問71．確率的勾配降下法（SGD）の更新における勾配ノイズがもたらす利点はどれか。

    • ア．局所最適解や鞍点から抜け出しやすい
    • イ．必ず勾配が0になる
    • ウ．計算量が全データ分必要になる
    • エ．学習率が不要になる

    正解：ア．局所最適解や鞍点から抜け出しやすい

    解説：SGDは少数サンプルで勾配を推定するためノイズが乗るが、このゆらぎが浅い局所解や鞍点からの脱出を助ける。一方で更新が不安定になりやすく、モメンタムや学習率調整の併用が有効である。

72. 問72．ニューラルネットワークの最適化において、パラメータを勾配の逆方向へ少しずつ更新する基本的な枠組みはどれか。

    • ア．動的計画法
    • イ．勾配降下法
    • ウ．遺伝的アルゴリズム
    • エ．焼きなまし法

    正解：イ．勾配降下法

    解説：勾配降下法は損失関数の勾配（最も急に増える方向）の逆向きにパラメータを更新して損失を減らす最適化の基本枠組みである。SGDやAdamなど深層学習の主要な最適化手法はこの考え方に基づく。

73. 問73．バッチ正規化が学習にもたらす効果として適切でないものはどれか。

    • ア．より高い学習率を使いやすくする
    • イ．内部共変量シフトを抑える
    • ウ．活性化関数を不要にする
    • エ．軽い正則化効果がある

    正解：ウ．活性化関数を不要にする

    解説：誤り。バッチ正規化は高い学習率の使用を可能にし内部共変量シフトを抑え軽い正則化効果も持つが、非線形な活性化関数を不要にするわけではない。表現力には依然として活性化関数が必要である。

74. 問74．ミニバッチのサイズを極端に大きくした場合に一般的に生じやすい傾向はどれか。

    • ア．勾配が必ず爆発する
    • イ．必ず汎化性能が向上する
    • ウ．学習率が不要になる
    • エ．勾配のノイズが減り更新が安定するが汎化性能が落ちることがある

    正解：エ．勾配のノイズが減り更新が安定するが汎化性能が落ちることがある

    解説：大きなバッチは勾配推定のノイズが減り更新が安定する一方、鋭い最小解に収束しやすく汎化性能が低下することがある。ウォームアップや学習率調整で緩和する研究が知られている。

75. 問75．Leaky ReLUにおいて負側の傾きを固定値ではなく学習可能なパラメータとした発展形はどれか。

    • ア．PReLU
    • イ．ELU
    • ウ．Maxout
    • エ．Hardtanh

    正解：ア．PReLU

    解説：PReLU（Parametric ReLU）はLeaky ReLUの負側の傾きαを学習可能なパラメータとして最適化する。データに応じて負側の挙動を調整でき、画像認識などで性能向上が報告された活性化関数である。