G検定（ジェネラリスト検定）「RNN・自然言語処理・Transformerの発展問題」の一問一答

G検定（ジェネラリスト検定）のRNN・自然言語処理・Transformerの発展問題に関する一問一答（全75問）の正解と解説の一覧です。上の一問一答で実際に解いてから、ここで復習・確認できます。

1. 問1．GRU（Gated Recurrent Unit）はLSTMより少ないゲートで構成され、リセットゲートと更新ゲートの2つで隠れ状態を直接更新する。

   正解：○（正しい）

   解説：GRUは2014年にChoらが提案した。LSTMの入力・忘却・出力の3ゲートとセル状態を簡略化し、リセットゲートと更新ゲートの2ゲートで隠れ状態を更新するためパラメータが少なく学習が速い。

2. 問2．LSTMの忘却ゲート（forget gate）は、前時刻のセル状態の情報をどの程度保持するかを0〜1の値で制御する。

   正解：○（正しい）

   解説：忘却ゲートはシグモイドで0〜1を出力し、前時刻のセル状態に乗じて不要な情報を選択的に捨てる。1なら全保持、0なら全忘却となり、長期依存関係の制御に重要な役割を果たす。

3. 問3．双方向RNN（Bidirectional RNN）は系列を前方向と後方向の両方から処理し、各時刻で過去と未来の文脈を統合できる。

   正解：○（正しい）

   解説：前向きと後ろ向きの2つのRNNの出力を結合し、各位置で前後両方の文脈を利用する。固有表現抽出など系列ラベリングで有効だが、未来情報が必要なためオンライン逐次推論には不向きである。

4. 問4．RNNの逆伝播はBPTT（Backpropagation Through Time）と呼ばれ、長系列では勾配消失・勾配爆発が起きやすい。

   正解：○（正しい）

   解説：BPTTは時刻ごとにネットワークを時間方向へ展開して通常の誤差逆伝播を適用する。長系列では同じ重み行列が繰り返し掛かるため勾配が消失・爆発しやすく、LSTMや勾配クリッピングで対処する。

5. 問5．勾配クリッピング（gradient clipping）は、勾配のノルムが閾値を超えた場合に縮小して勾配爆発を防ぐ手法である。

   正解：○（正しい）

   解説：勾配のノルムが大きくなりすぎると更新が過大になり学習が不安定になる。閾値を超えたら勾配ベクトル全体をスケールダウンして爆発を抑える。RNNやLSTMの学習で広く使われる安定化手法である。

6. 問6．seq2seqの基本構造では、エンコーダが入力系列を固定長のコンテキストベクトルに圧縮し、デコーダがそれを基に出力系列を生成する。

   正解：○（正しい）

   解説：エンコーダRNNが入力全体を1つの固定長ベクトルにまとめ、デコーダRNNがそれを初期状態として出力を逐次生成する。長文では情報がボトルネックとなりやすく、後に注意機構の導入で大きく改善された。

7. 問7．注意機構（Attention）は、デコーダが出力を生成する各ステップで入力系列のどの部分に注目すべきかを重み付けする仕組みである。

   正解：○（正しい）

   解説：Attentionは固定長コンテキストベクトルのボトルネックを解消し、デコーダが各出力時に入力全体を参照して関連箇所に重みを置く。Bahdanauらが2015年に機械翻訳で導入し性能を大きく向上させた。

8. 問8．教師強制（teacher forcing）は、RNNなどの系列モデルの学習時に、前の時刻のモデル自身の出力の代わりに正解の系列をデコーダへの入力として与える手法である。

   正解：○（正しい）

   解説：教師強制を使うと学習初期に誤った出力が次の入力に伝わるのを防げ、学習が速く安定する。一方、推論時には自分の出力を入力とするため、学習時との条件の違い（露出バイアス）が生じる。

9. 問9．スケールドドット積注意では、QueryとKeyの内積をKeyの次元数の平方根で割ることでsoftmaxの飽和と勾配消失を防いでいる。

   正解：○（正しい）

   解説：次元d_kが大きいと内積の値が大きくなりsoftmaxが飽和して勾配が極端に小さくなる。これを避けるため内積を√d_kで割ってスケールを調整する。これがScaled Dot-Product Attentionと呼ばれる仕組みである。

10. 問10．マルチヘッドアテンション（Multi-Head Attention）は、注意機構を複数並列に実行し異なる表現部分空間で多様な関係性を同時に捉える。

    正解：○（正しい）

    解説：Query・Key・Valueを複数のヘッドに分割して並列に注意を計算し、結果を結合して線形変換する。各ヘッドが構文や意味など異なる関係を学習できるため、単一ヘッドより表現力が高まるのが利点である。

11. 問11．Transformerは再帰構造を持たないため、単語の順序情報を補う目的で位置エンコーディングを入力埋め込みに加算する。

    正解：○（正しい）

    解説：Self-Attentionは系列を集合的に扱い順序を区別しないため、sin/cos関数による位置情報を埋め込みに足して語順を表現する。これにより並列計算の利点を保ちつつ系列の順序関係を扱えるようになっている。

12. 問12．BERTはMasked Language Model（マスク言語モデル）により、文中の一部をマスクし両側の文脈から予測して双方向の言語理解を学習する。

    正解：○（正しい）

    解説：BERTは入力トークンの約15%をマスクし、その前後両方の文脈から元の単語を予測するよう学習する。この双方向の予測タスクにより文脈を深く理解した表現を獲得でき、多くの理解系タスクで高い性能を示す。

13. 問13．LSTMのCEC（Constant Error Carousel）は、セルの内部状態を通じて誤差を減衰させずに時間方向へ流し続ける仕組みであり、長期の依存関係を学習しやすくする。

    正解：○（正しい）

    解説：正しい。CEC（定誤差カルーセル）はLSTMの原論文（Hochreiter & Schmidhuber, 1997）で導入された仕組みで、セル内部の自己ループにより誤差を一定に保って逆伝播させ、単純なRNNで起きる勾配消失を避ける。入力・出力（のちに忘却）ゲートがこの流れへの書き込みと読み出しを制御する。

14. 問14．ワンホットベクトルでは、語彙数と同じ次元のうち該当する単語の要素だけを1、それ以外を0とするため、異なる単語どうしのベクトルの内積は常に0になり、単語間の意味の近さを表せない。

    正解：○（正しい）

    解説：正しい。ワンホットベクトルはどの2単語も互いに直交するため、類似度（内積・コサイン類似度）が常に0となり、意味の近さを表現できない。この欠点を補うのが、低次元の密なベクトルで単語を表す分散表現（単語埋め込み）である。

15. 問15．word2vecのCBOW（Continuous Bag-of-Words）は、周辺の文脈語から中心の単語を予測することで単語の分散表現を学習する。

    正解：○（正しい）

    解説：CBOWは周辺語を入力として中心語を予測する。逆に中心語から周辺語を予測するのがskip-gramである。いずれもword2vecの学習方式で、単語を意味的関係を捉えた密なベクトルへ写像する手法である。

16. 問16．BPE（Byte Pair Encoding）は、出現頻度の高い文字ペアを繰り返し統合してサブワード語彙を構築するトークン化手法である。

    正解：○（正しい）

    解説：BPEは頻出する隣接文字対を1単位に併合する操作を反復し、語彙サイズの抑制と未知語対応を両立する。GPTをはじめ多くの言語モデルで採用されており、サブワード分割の代表的アルゴリズムである。

17. 問17．パープレキシティ（perplexity）は言語モデルの予測性能を測る指標であり、値が小さいほど次の単語をよく予測できるとされる。

    正解：○（正しい）

    解説：パープレキシティはモデルが次単語を予測する際の平均的な迷いの度合いを表す。値が小さいほど予測がよく当たり良いモデルとされる。言語モデルそのものの性能を測る代表的な内的評価指標である。

18. 問18．WaveNet（DeepMind）は生のオーディオ波形を直接モデル化する音声合成手法で、自然で人間に近い音声を生成できる。

    正解：○（正しい）

    解説：WaveNetは因果的な畳み込みで波形のサンプルを逐次予測して生成する。従来の連結合成より自然な音声を生み出し、音声合成の品質を大きく向上させた。後の対話アシスタントの音声などに応用されている。

19. 問19．Transformerのデコーダにあるエンコーダ・デコーダ間の注意（Source-Target Attention）では、Queryをデコーダ側から、KeyとValueをエンコーダの出力から得る。

    正解：○（正しい）

    解説：Source-Target Attentionでは、生成中のデコーダの状態をQueryとし、入力文を処理したエンコーダの出力をKey・Valueとして、入力のどこに注目するかを計算する。Self-AttentionはQ・K・Vを同じ系列から得る点が異なる。

20. 問20．GRUにはLSTMのような独立したセル状態とゲートが3つあり、LSTMよりもパラメータ数が多い。

    正解：×（誤り）

    解説：誤り。GRUはセル状態を持たず、ゲートも更新ゲートとリセットゲートの2つだけである。入力・忘却・出力の3ゲートとセル状態を持つLSTMよりパラメータが少なく軽量で、学習も比較的速いのが特徴である。

21. 問21．Self-Attentionは系列の順序情報を内在的に保持しているため、位置エンコーディングは不要である。

    正解：×（誤り）

    解説：誤り。Self-Attentionは系列を集合的に処理し順序を区別しない。正しくは位置エンコーディングを埋め込みに加算して語順情報を明示的に与える必要があり、これを省くと単語の並びを学習できなくなる。

22. 問22．TF-IDFでは、多くの文書に共通して出現する単語ほど、その単語の重みが大きくなる。

    正解：×（誤り）

    解説：誤り。TF-IDFは文書内の出現頻度（TF）と逆文書頻度（IDF）の積で、多くの文書に出現する単語ほどIDFが小さくなり重みは下がる。特定の文書に多く、他の文書に少ない単語ほど重みが大きい。

23. 問23．BLEUスコアは値が小さいほど機械翻訳の品質が高いことを意味する。

    正解：×（誤り）

    解説：誤り。BLEUは生成訳と参照訳のn-gram一致度を測る指標であり、正しくは値が大きい（1や100に近い）ほど翻訳品質が高いことを示す。短すぎる訳にはbrevity penaltyが課される仕組みも備える。

24. 問24．パープレキシティは値が大きいほど言語モデルの予測性能が高いことを示す指標である。

    正解：×（誤り）

    解説：誤り。パープレキシティは次単語予測の不確かさを表す指標であり、正しくは値が小さいほど予測がよく当たり性能が高い良いモデルとされる。値が大きいほど予測に迷っており性能が低いことを意味する。

25. 問25．word2vecのCBOWは中心語から周辺語を予測し、skip-gramは周辺語から中心語を予測するモデルである。

    正解：×（誤り）

    解説：誤り。説明が逆である。正しくはCBOWが周辺語から中心語を予測し、skip-gramが中心語から周辺語を予測する。skip-gramは低頻度語の表現学習に比較的強いとされ、用途に応じて使い分けられる。

26. 問26．fastTextは単語を分割不可能な1つの単位として扱うため、未知語のベクトルは一切構成できない。

    正解：×（誤り）

    解説：誤り。fastTextは単語を文字n-gram（サブワード）の集合として表現する。正しくは未知語であっても構成要素の部分文字列から埋め込みを合成できるため、未知語に強く形態の豊かな言語にも適している。

27. 問27．Transformerはエンコーダ・デコーダともに畳み込み層（CNN）を主構成要素として用いている。

    正解：×（誤り）

    解説：誤り。Transformerの中核はSelf-Attentionと位置ごとの全結合（フィードフォワード）層である。正しくは畳み込み層や再帰構造を基本構成に含まず、注意機構によって系列の依存関係を捉える設計である。

28. 問28．BPEは出現頻度の低い文字ペアを優先して統合していくことでサブワード語彙を構築する手法である。

    正解：×（誤り）

    解説：誤り。BPEは出現頻度の高い文字ペアを繰り返し統合してサブワード語彙を構築する。正しくは頻出パターンを1単位にまとめることで効率的な語彙を作り、語彙サイズの抑制と未知語対応を両立する手法である。

29. 問29．Bag-of-Words（BoW）は、単語の出現回数とともに、単語の出現順序も保持する文書表現である。

    正解：×（誤り）

    解説：誤り。BoWは文書を「どの単語が何回出たか」のベクトルで表し、単語の順序は捨てる。語順の情報を一部取り入れるには、隣接する単語の組を数えるn-gramなどを使う。

30. 問30．ROUGEは主に機械翻訳の評価に用いられ、自動要約の評価にはまったく使われない指標である。

    正解：×（誤り）

    解説：誤り。ROUGEは正しくは主に自動要約の評価に用いられる再現率寄りの指標であり、参照要約との語句の重なりを測る。機械翻訳評価の代表はBLEUであり、両者は対象タスクと算出方針が異なる指標である。

31. 問31．マルチヘッドアテンションは単一の注意ヘッドのみを用いるため、異なる種類の関係性を同時に学習することはできない。

    正解：×（誤り）

    解説：誤り。マルチヘッドは複数のヘッドを並列に持つ機構である。正しくは各ヘッドが構文や意味など異なる表現部分空間の関係を同時に学習でき、これにより単一ヘッドより豊かな表現力を得られるのが利点である。

32. 問32．LSTMの忘却ゲートは常に1を出力し、過去の情報をすべて無条件に保持し続ける。

    正解：×（誤り）

    解説：誤り。忘却ゲートは0〜1の値を学習し、状況に応じて情報の保持量を調整する。正しくは不要な過去情報を選択的に捨てる役割を持ち、常に1を返すならば長期依存の制御ができず性能を発揮できない。

33. 問33．WaveNetは画像分類専用のアーキテクチャであり、音声分野には一切用いられない。

    正解：×（誤り）

    解説：誤り。WaveNetは音声波形を直接生成する音声合成の手法であり、音声認識などにも応用される。正しくは音声分野のモデルであって画像分類専用ではなく、自然な音声生成を実現した点で評価されている。

34. 問34．知識蒸留では生徒モデルが教師モデルより必ず大きくなり、計算コストも増大する。

    正解：×（誤り）

    解説：誤り。知識蒸留では生徒モデルの方が教師モデルより小さく軽量である。正しくは大きな教師の知識を小さな生徒に移すことで軽量化と高速化を図る手法であり、DistilBERTがその代表例として知られる。

35. 問35．統計的機械翻訳は、言語学者が手作業で記述した文法規則と対訳辞書だけに基づいて訳文を組み立てる方式である。

    正解：×（誤り）

    解説：誤り。記述はルールベース機械翻訳の説明である。統計的機械翻訳は大量の対訳コーパスから翻訳モデルと言語モデルの確率を学習し、最も確率の高い訳文を選ぶ方式（Brown et al., 1993 のIBMモデルなど）で、ニューラル機械翻訳が普及する前の主流だった。

36. 問36．双方向RNNはリアルタイムのオンライン推論（系列が逐次到着する場面）に最も適している。

    正解：×（誤り）

    解説：誤り。双方向RNNは後ろ向きの処理に未来の入力を必要とする。正しくは系列全体が揃ってから処理する用途に向いており、入力が逐次到着するオンライン推論には不向きで、その場合は単方向RNN等が用いられる。

37. 問37．ELMoは文脈に依存しない静的な単語ベクトルを与えるため、多義語を文脈で区別することはできない。

    正解：×（誤り）

    解説：誤り。ELMoは双方向LSTM言語モデルから文脈化単語表現を与える。正しくは同じ単語でも文脈により異なるベクトルになるため多義語を区別できる。静的な単語ベクトルを与えるのはword2vecやGloVeである。

38. 問38．日本語の係り受け解析では、一般に、文末の文節を除く各文節は、自分より前（左側）にある文節のいずれか1つに係るものとして解析する。

    正解：×（誤り）

    解説：誤り。日本語は主要部が後ろに来る言語で、係り受け解析では、文末以外の各文節は自分より後ろ（右側）にある文節のいずれか1つに係り、係り受けどうしは交差しないという制約を置いて解析するのが一般的である（Kudo & Matsumoto, 2002）。

39. 問39．GRUのゲート構成として正しいものはどれか。

    • ア．忘却ゲートのみの1ゲート
    • イ．入力・忘却・出力の3ゲート
    • ウ．更新ゲートとリセットゲートの2ゲート
    • エ．注意ゲートと畳み込みゲートの2ゲート

    正解：ウ．更新ゲートとリセットゲートの2ゲート

    解説：GRUは更新ゲート（update gate）とリセットゲート（reset gate）の2ゲートで構成される。LSTMの入力・忘却・出力の3ゲートを簡略化した軽量モデルで、セル状態を持たず隠れ状態を直接更新する。

40. 問40．LSTMが持つ3つのゲートの組合せとして正しいものはどれか。

    • ア．更新ゲート・リセットゲート・注意ゲート
    • イ．畳み込みゲート・プーリングゲート・全結合ゲート
    • ウ．前向きゲート・後ろ向きゲート・正規化ゲート
    • エ．入力ゲート・忘却ゲート・出力ゲート

    正解：エ．入力ゲート・忘却ゲート・出力ゲート

    解説：LSTMは入力ゲート・忘却ゲート・出力ゲートの3ゲートとセル状態を持つ。これらのゲートで情報の流れを制御することで長期依存（勾配消失）を緩和し、長い系列の学習を可能にしている。

41. 問41．Transformerにおいて、Self-Attentionが捉えるのに最も得意とするものはどれか。

    • ア．系列内の長距離依存関係
    • イ．数値テーブルの欠損値補完
    • ウ．音声の周波数スペクトルのみ
    • エ．画像のエッジなど局所的な空間特徴

    正解：ア．系列内の長距離依存関係

    解説：Self-Attentionは系列内の任意の2要素を直接結びつけられるため、RNNが苦手とする長距離依存関係を効率よく捉えられる。これがTransformerが長文の文脈処理に強い理由の一つとなっている。

42. 問42．スケールドドット積注意で内積をスケーリングする際に割る値として正しいものはどれか。

    • ア．系列長そのもの
    • イ．Keyの次元数の平方根（√d_k）
    • ウ．学習率
    • エ．ヘッド数の2乗

    正解：イ．Keyの次元数の平方根（√d_k）

    解説：QueryとKeyの内積をKeyの次元数d_kの平方根（√d_k）で割る。これにより次元が大きいときのsoftmaxの飽和と勾配消失を防ぎ、安定した学習を可能にしているのがスケールドドット積注意である。

43. 問43．マルチヘッドアテンションを用いる主な目的として最も適切なものはどれか。

    • ア．パラメータ数を1ヘッドより必ず減らすため
    • イ．位置情報を不要にするため
    • ウ．異なる表現部分空間で多様な関係性を同時に学習するため
    • エ．勾配消失を完全になくすため

    正解：ウ．異なる表現部分空間で多様な関係性を同時に学習するため

    解説：複数のヘッドが異なる表現部分空間で別々の関係性（構文・意味など）を並列に学習できるため、表現力が向上する。単一ヘッドでは捉えにくい多様な依存関係を同時に扱えるのが大きな利点である。

44. 問44．Transformerが単語の順序情報を扱うために入力埋め込みへ加える要素はどれか。

    • ア．ドロップアウト層
    • イ．バッチ正規化
    • ウ．プーリング層
    • エ．位置エンコーディング（Positional Encoding）

    正解：エ．位置エンコーディング（Positional Encoding）

    解説：Transformerは再帰や畳み込みを用いず順序を区別しないため、sin/cos関数などによる位置エンコーディングを埋め込みに加算して語順を表現する。これにより並列計算しつつ系列の順序を扱える。

45. 問45．人間の聴覚が低い周波数の違いに敏感であることを反映した尺度でスペクトルを変換し、ケプストラム分析によって得る、音声認識で広く用いられる特徴量はどれか。

    • ア．LPC
    • イ．MFCC
    • ウ．CTC
    • エ．PCM

    正解：イ．MFCC

    解説：MFCC（メル周波数ケプストラム係数）は、聴覚特性に合わせたメル尺度のフィルタバンクでスペクトルをまとめ、対数をとって離散コサイン変換したもので、音声の特徴量として広く使われる。LPCは線形予測係数、CTCは系列の対応づけの損失、PCMは波形の符号化方式である。

46. 問46．深層学習が普及する以前の音声認識で、音素などの状態の遷移と、各状態から音響特徴が出力される確率をモデル化するために広く用いられた手法はどれか。

    • ア．n-gram言語モデル
    • イ．隠れマルコフモデル
    • ウ．動的時間伸縮法（DTW）
    • エ．ガウス過程回帰

    正解：イ．隠れマルコフモデル

    解説：隠れマルコフモデル（HMM）は観測できない状態の遷移確率と、各状態からの出力確率で系列をモデル化し、音響モデルとして長く使われた。n-gram言語モデルは単語の並びの確率を扱う言語モデル、DTWは時間軸を伸縮させてテンプレートと照合する手法である。

47. 問47．word2vecで『周辺語から中心語を予測する』学習手法はどれか。

    • ア．GloVe
    • イ．skip-gram
    • ウ．CBOW
    • エ．fastText

    正解：ウ．CBOW

    解説：周辺語から中心語を予測するのがCBOWである。逆に中心語から周辺語を予測するのがskip-gramで、両者ともword2vecの学習方式である。CBOWは学習が速く、skip-gramは低頻度語に強い傾向がある。

48. 問48．単語を文字n-gram（サブワード）の集合で表現し未知語に強い分散表現手法はどれか。

    • ア．word2vec（skip-gram）
    • イ．TF-IDF
    • ウ．one-hotエンコーディング
    • エ．fastText

    正解：エ．fastText

    解説：fastTextは単語を文字n-gramに分解して埋め込みを合成するため、学習時に出現しなかった未知語でも部分文字列の組合せからベクトルを構成できる。形態の豊かな言語に強い分散表現手法である。

49. 問49．連続する複数個の単語や文字の並びを1つの単位として扱い、直前の数語から次の語の出現確率を推定する言語モデルなどに用いられる表現はどれか。

    • ア．n-gram
    • イ．BoW（Bag-of-Words）
    • ウ．TF-IDF
    • エ．ワンホットベクトル

    正解：ア．n-gram

    解説：n-gramは連続するn個の単語や文字の並びを単位とする表現で、直前のn−1語から次の語の確率を推定するn-gram言語モデルに用いられる。BoWとTF-IDFは語順を捨てて出現回数や重みだけを扱う表現、ワンホットベクトルは1つの単語を語彙数次元の0/1ベクトルで表す表現である。

50. 問50．頻出する隣接文字ペアを繰り返し統合してサブワード語彙を作るトークン化手法はどれか。

    • ア．形態素解析
    • イ．BPE（Byte Pair Encoding）
    • ウ．one-hot分割
    • エ．正規化（normalization）

    正解：イ．BPE（Byte Pair Encoding）

    解説：BPE（Byte Pair Encoding）は頻度の高い隣接文字対を反復的に併合してサブワード語彙を構築する。語彙サイズを抑えつつ未知語に対応でき、GPTをはじめ多くの言語モデルで採用されている。

51. 問51．BERTで採用されているサブワードトークン化手法として知られるものはどれか。

    • ア．ハフマン符号化
    • イ．n-gram言語モデル
    • ウ．WordPiece
    • エ．ランレングス圧縮

    正解：ウ．WordPiece

    解説：BERTはWordPieceを採用する。BPEに似た頻度ベースのサブワード手法だが、語彙への併合を尤度（likelihood）の向上で選ぶ点に特徴がある。未知語の発生を抑えつつ語彙を効率化できる。

52. 問52．言語モデルそのものの予測性能を測る内的評価指標として最も代表的なものはどれか。

    • ア．BLEU
    • イ．ROUGE
    • ウ．F値
    • エ．パープレキシティ（perplexity）

    正解：エ．パープレキシティ（perplexity）

    解説：パープレキシティは次単語予測の不確かさを表し、小さいほど良い言語モデルとされる。BLEUは機械翻訳、ROUGEは自動要約の評価指標であり、対象や算出方針がそれぞれ異なる点に注意が必要である。

53. 問53．機械翻訳の自動評価で、生成訳と参照訳のn-gram一致度を基に算出される指標はどれか。

    • ア．BLEU
    • イ．パープレキシティ
    • ウ．AUC
    • エ．ROUGE

    正解：ア．BLEU

    解説：BLEUはn-gram適合率に短すぎる訳へのbrevity penaltyを組み合わせた機械翻訳の代表的な自動評価指標である。値が大きいほど参照訳に近く品質が高いと評価され、翻訳分野で広く使われている。

54. 問54．自動要約の評価で主に用いられ、参照要約との重なりを再現率中心に測る指標はどれか。

    • ア．BLEU
    • イ．ROUGE
    • ウ．RMSE
    • エ．対数尤度のみ

    正解：イ．ROUGE

    解説：ROUGEは要約評価で広く使われ、n-gramや最長共通部分列の重なりを再現率寄りで測る指標である。ROUGE-NやROUGE-Lなどの種類があり、生成要約が参照要約をどれだけ網羅したかを評価する。

55. 問55．生のオーディオ波形を直接生成して自然な音声合成を実現したモデルはどれか。

    • ア．ResNet
    • イ．GAN
    • ウ．WaveNet
    • エ．Word2Vec

    正解：ウ．WaveNet

    解説：WaveNet（DeepMind）は因果的な畳み込みで波形のサンプルを逐次生成し、従来の連結合成より自然な音声合成を達成した。音声アシスタントの読み上げ音声などに応用され、品質を大きく高めた。

56. 問56．入力フレームと出力ラベルのアライメントが未知でも音声認識を学習できる損失/手法はどれか。

    • ア．L2正則化
    • イ．クロスエントロピーのみ
    • ウ．ヒンジ損失
    • エ．CTC

    正解：エ．CTC

    解説：CTC（Connectionist Temporal Classification）は空白ラベルを導入し、入力と出力の対応付けを明示せず確率を周辺化することで系列ラベリングを学習する。アライメント不要なため音声認識で広く使われる。

57. 問57．文中から人名・地名・組織名などを識別して分類するNLPタスクはどれか。

    • ア．固有表現抽出（NER）
    • イ．機械翻訳
    • ウ．感情分析
    • エ．文書要約

    正解：ア．固有表現抽出（NER）

    解説：固有表現抽出（NER）は人名・地名・組織名などの固有表現を識別して分類する系列ラベリングタスクである。BIO記法などで境界と種別を表し、情報抽出や質問応答の基盤技術として用いられる。

58. 問58．単純なRNNのうち、ネットワークの出力層の値を、次の時刻に入力とあわせて与えるユニットへ戻す構造をもつものはどれか。

    • ア．エルマンネットワーク
    • イ．ジョルダンネットワーク
    • ウ．ネオコグニトロン
    • エ．双方向RNN

    正解：イ．ジョルダンネットワーク

    解説：ジョルダンネットワークは出力層の値を次の時刻の入力側（状態ユニット）へ戻す。エルマンネットワークは隠れ層（中間層）の値を文脈ユニットへ戻す点が異なる。ネオコグニトロンは CNN の原型で再帰を持たず、双方向RNNは順方向と逆方向の隠れ状態を組み合わせるモデルである。

59. 問59．文の感情分類・言い換え判定・含意関係の認識など複数の英語の自然言語理解タスクを集め、モデルの汎用的な言語理解能力を総合的に比較できるようにしたベンチマークはどれか。

    • ア．SQuAD
    • イ．BLEU
    • ウ．GLUE
    • エ．ROUGE

    正解：ウ．GLUE

    解説：GLUE（General Language Understanding Evaluation）は SST-2・MRPC・MNLI など複数の自然言語理解タスクをまとめたベンチマークで、BERT などの評価に使われた。SQuAD は質問応答の単一データセット、BLEU は機械翻訳、ROUGE は要約の自動評価指標である。

60. 問60．注意機構（Attention）がseq2seqにもたらした主な改善点として正しいものはどれか。

    • ア．計算量をゼロにした
    • イ．学習データを不要にした
    • ウ．出力を必ず入力と同じ長さにした
    • エ．固定長ベクトルのボトルネックを解消し関連箇所を参照可能にした

    正解：エ．固定長ベクトルのボトルネックを解消し関連箇所を参照可能にした

    解説：Attentionは固定長コンテキストベクトルのボトルネックを解消し、デコーダが各ステップで入力の関連箇所を直接参照できるようにした。これにより長文の翻訳精度などが大きく向上したのが主な改善点である。

61. 問61．大きな教師モデルの知識を小さなモデルに移して軽量化・高速化する手法はどれか。

    • ア．知識蒸留（knowledge distillation）
    • イ．ドロップアウト
    • ウ．データ拡張
    • エ．アーリーストッピング

    正解：ア．知識蒸留（knowledge distillation）

    解説：知識蒸留（knowledge distillation）は教師モデルの出力分布を生徒モデルに学習させて軽量・高速化する手法である。DistilBERTが代表例で、性能の多くを保ちつつモデルサイズと推論コストを削減できる。

62. 問62．Transformerの各サブlayerで学習を安定化させるために併用される2つの要素はどれか。

    • ア．ドロップアウトとバッチ正規化のみ
    • イ．残差接続と層正規化
    • ウ．プーリングと畳み込み
    • エ．再帰結合と忘却ゲート

    正解：イ．残差接続と層正規化

    解説：Transformerは残差接続（スキップ接続）と層正規化（Layer Normalization）を併用する。残差接続で勾配が伝わりやすくなり、層正規化で各層の入力分布が安定するため、深いネットワークでも学習が安定する。

63. 問63．日本語の文を意味をもつ最小の単位に区切り、それぞれの品詞を判定する処理はどれか。

    • ア．構文解析
    • イ．意味解析
    • ウ．形態素解析
    • エ．照応解析

    正解：ウ．形態素解析

    解説：形態素解析は、文を形態素（意味をもつ最小単位）に分割し品詞を付与する処理で、単語の区切りが空白で示されない日本語の処理の第一段階となる。構文解析は単語間の係り受けなど文の構造を解析する処理である。

64. 問64．文脈に応じて単語ベクトルが変化する文脈化単語表現を提供したモデルはどれか。

    • ア．word2vec
    • イ．fastText
    • ウ．GloVe
    • エ．ELMo

    正解：エ．ELMo

    解説：ELMoは双方向LSTM言語モデルから文脈依存の埋め込みを生成し、同じ単語でも文脈で異なるベクトルを与える。word2vec・GloVe・fastTextは文脈に依存しない静的な単語分散表現である点が異なる。

65. 問65．母音などの音声を周波数分析したとき、声道の共鳴によってスペクトル上に現れる複数の山（ピーク）を何と呼ぶか。

    • ア．フォルマント
    • イ．メル尺度
    • ウ．音素
    • エ．スペクトル包絡

    正解：ア．フォルマント

    解説：声道の共鳴で強調される周波数帯の山をフォルマントと呼び、周波数の低い順に第1・第2フォルマントなどとする。その周波数（フォルマント周波数）の組合せで母音が区別される。スペクトル包絡はスペクトルの大まかな形をなめらかにたどった曲線、メル尺度は人間の音の高さの感じ方に合わせた尺度、音素は意味を区別する音の最小単位である。

66. 問66．文書中のある単語の重要度を、その文書内での出現頻度と、その単語を含む文書が全体の中でどれだけ少ないかを掛け合わせて評価する手法はどれか。

    • ア．BoW（Bag-of-Words）
    • イ．TF-IDF
    • ウ．n-gram
    • エ．word2vec

    正解：イ．TF-IDF

    解説：TF-IDFは、単語の出現頻度（TF）と、その単語を含む文書数の逆数に基づく値（IDF）の積で重みを付け、多くの文書に共通する語の重みを下げる。BoWは出現回数を並べただけの表現、n-gramは連続する語の並びを単位とする表現、word2vecは周辺の単語との関係から単語ベクトルを学習する手法である。

67. 問67．双方向RNNの特徴として正しいものはどれか。

    • ア．画像専用で系列は扱えない
    • イ．未来情報を一切使わず逐次のみ処理する
    • ウ．前後両方向から系列を処理し過去と未来の文脈を統合する
    • エ．勾配を必ずゼロにする

    正解：ウ．前後両方向から系列を処理し過去と未来の文脈を統合する

    解説：双方向RNNは前向きと後ろ向きの2つのRNNを併用し、各時刻で過去と未来の文脈を統合する。固有表現抽出などの系列ラベリングに有効だが、未来情報が必要なためオンライン逐次推論には不向きである。

68. 問68．Self-Attentionでの出力計算の流れとして正しいものはどれか。

    • ア．Valueの最大値だけを選んで出力する
    • イ．QとVの差分をそのまま出力する
    • ウ．Kを畳み込んでプーリングする
    • エ．QとKの類似度をsoftmaxで重み化しVを加重和する

    正解：エ．QとKの類似度をsoftmaxで重み化しVを加重和する

    解説：QueryとKeyの類似度（内積）をsoftmaxで重みに変換し、その重みでValueを加重和して出力を得る。これがスケールドドット積注意の基本的な計算であり、関連度の高い要素ほど強く反映される。

69. 問69．サブワード分割（BPE・WordPiece等）が現代の言語モデルで広く使われる理由として最も適切なものはどれか。

    • ア．語彙数を抑えつつ未知語の発生を減らせるため
    • イ．必ず1単語1トークンになるため
    • ウ．計算量を完全にゼロにできるため
    • エ．学習データを不要にできるため

    正解：ア．語彙数を抑えつつ未知語の発生を減らせるため

    解説：サブワードは単語を部分単位の組合せで表せるため、語彙数を抑えつつ未知語（OOV）の発生を減らせる。これが多くの言語モデルでサブワード分割が標準的に採用されている主な理由となっている。

70. 問70．感情分析（sentiment analysis）の説明として正しいものはどれか。

    • ア．音声波形から話者を特定するタスク
    • イ．文章の極性（肯定・否定など）を判定するタスク
    • ウ．画像から物体を検出するタスク
    • エ．数値系列を補間するタスク

    正解：イ．文章の極性（肯定・否定など）を判定するタスク

    解説：感情分析は文章が肯定的・否定的・中立的かといった極性を判定するテキスト分類タスクである。商品レビューやSNS投稿の分析に応用され、企業の評判分析や顧客の声の把握などに広く活用されている。

71. 問71．Transformerが大規模学習に適しているとされる主な理由はどれか。

    • ア．逐次処理で必ず順番に計算する必要があるため
    • イ．パラメータが常に固定で増えないため
    • ウ．系列を並列に処理でき大規模並列学習に向くため
    • エ．学習データが少なくて済むことが保証されるため

    正解：ウ．系列を並列に処理でき大規模並列学習に向くため

    解説：Self-Attentionは系列を逐次処理せず全位置を並列に計算できるため、GPUでの大規模並列学習に向いている。これがRNNとの大きな違いであり、大規模言語モデルの学習を可能にした重要な要因である。

72. 問72．質問応答（QA）タスクの説明として最も適切なものはどれか。

    • ア．画像から領域を切り出すタスク
    • イ．データを圧縮するタスク
    • ウ．音声を文字に書き起こすタスク
    • エ．質問に対し文書や知識から回答を返すタスク

    正解：エ．質問に対し文書や知識から回答を返すタスク

    解説：質問応答は与えられた質問に対し、文書や知識ベースから適切な回答を返すタスクである。文書中の該当箇所を選ぶ抽出型と、回答文を生成する生成型があり、BERTやGPT系のモデルが活用されている。

73. 問73．Transformerと比較したRNN（LSTM・GRU含む）の特徴として正しいものはどれか。

    • ア．時刻を逐次処理するため並列化が難しい
    • イ．全位置を完全並列で計算する
    • ウ．位置エンコーディングが必須である
    • エ．畳み込みのみで構成される

    正解：ア．時刻を逐次処理するため並列化が難しい

    解説：RNNは時刻を逐次的に処理するため並列化が難しく、長系列では勾配消失も起きやすい。これに対しTransformerはSelf-Attentionにより並列処理と長距離依存処理に優れ、大規模学習に適している。

74. 問74．事前学習済み言語モデルを少量のタスク特化データで微調整して個別タスクに適応させる工程の名称はどれか。

    • ア．プレトレーニング（事前学習）
    • イ．ファインチューニング（微調整）
    • ウ．データクレンジング
    • エ．次元削減

    正解：イ．ファインチューニング（微調整）

    解説：ファインチューニング（微調整）は、大規模コーパスでの事前学習で得た汎用表現を、少量のタスクデータで個別タスクへ適応させる工程である。少量データでも高い性能を出せる転移学習の標準的な手法である。

75. 問75．機械翻訳・要約・対話のように入力と出力の長さが異なる系列変換に適した基本アーキテクチャはどれか。

    • ア．単層パーセプトロン
    • イ．畳み込みニューラルネットワーク
    • ウ．エンコーダ・デコーダ構造（seq2seq）
    • エ．自己組織化マップ

    正解：ウ．エンコーダ・デコーダ構造（seq2seq）

    解説：エンコーダ・デコーダ構造（seq2seq）は入力系列を符号化し、それを基に異なる長さの出力系列を生成できる。入出力長が変わる機械翻訳・要約・対話などの系列変換タスクに適した基本アーキテクチャである。