G検定（ジェネラリスト検定）「RNN・自然言語処理・Transformerの発展問題」の一問一答

G検定（ジェネラリスト検定）のRNN・自然言語処理・Transformerの発展問題に関する一問一答（全75問）の正解と解説の一覧です。上の一問一答で実際に解いてから、ここで復習・確認できます。

1. 問1．GRU（Gated Recurrent Unit）はLSTMより少ないゲートで構成され、リセットゲートと更新ゲートの2つで隠れ状態を直接更新する。

   正解：○（正しい）

   解説：GRUは2014年にChoらが提案した。LSTMの入力・忘却・出力の3ゲートとセル状態を簡略化し、リセットゲートと更新ゲートの2ゲートで隠れ状態を更新するためパラメータが少なく学習が速い。

2. 問2．LSTMの忘却ゲート（forget gate）は、前時刻のセル状態の情報をどの程度保持するかを0〜1の値で制御する。

   正解：○（正しい）

   解説：忘却ゲートはシグモイドで0〜1を出力し、前時刻のセル状態に乗じて不要な情報を選択的に捨てる。1なら全保持、0なら全忘却となり、長期依存関係の制御に重要な役割を果たす。

3. 問3．双方向RNN（Bidirectional RNN）は系列を前方向と後方向の両方から処理し、各時刻で過去と未来の文脈を統合できる。

   正解：○（正しい）

   解説：前向きと後ろ向きの2つのRNNの出力を結合し、各位置で前後両方の文脈を利用する。固有表現抽出など系列ラベリングで有効だが、未来情報が必要なためオンライン逐次推論には不向きである。

4. 問4．RNNの逆伝播はBPTT（Backpropagation Through Time）と呼ばれ、長系列では勾配消失・勾配爆発が起きやすい。

   正解：○（正しい）

   解説：BPTTは時刻ごとにネットワークを時間方向へ展開して通常の誤差逆伝播を適用する。長系列では同じ重み行列が繰り返し掛かるため勾配が消失・爆発しやすく、LSTMや勾配クリッピングで対処する。

5. 問5．勾配クリッピング（gradient clipping）は、勾配のノルムが閾値を超えた場合に縮小して勾配爆発を防ぐ手法である。

   正解：○（正しい）

   解説：勾配のノルムが大きくなりすぎると更新が過大になり学習が不安定になる。閾値を超えたら勾配ベクトル全体をスケールダウンして爆発を抑える。RNNやLSTMの学習で広く使われる安定化手法である。

6. 問6．seq2seqの基本構造では、エンコーダが入力系列を固定長のコンテキストベクトルに圧縮し、デコーダがそれを基に出力系列を生成する。

   正解：○（正しい）

   解説：エンコーダRNNが入力全体を1つの固定長ベクトルにまとめ、デコーダRNNがそれを初期状態として出力を逐次生成する。長文では情報がボトルネックとなりやすく、後に注意機構の導入で大きく改善された。

7. 問7．注意機構（Attention）は、デコーダが出力を生成する各ステップで入力系列のどの部分に注目すべきかを重み付けする仕組みである。

   正解：○（正しい）

   解説：Attentionは固定長コンテキストベクトルのボトルネックを解消し、デコーダが各出力時に入力全体を参照して関連箇所に重みを置く。Bahdanauらが2015年に機械翻訳で導入し性能を大きく向上させた。

8. 問8．Self-Attention（自己注意）は、1つの系列内の各要素が同じ系列内の他のすべての要素との関連度を計算する機構である。

   正解：○（正しい）

   解説：Self-AttentionはQuery・Key・Valueをすべて同じ系列から作り、系列内の単語同士の関係を直接モデル化する。RNNと違い長距離依存を一度に捉えられ並列計算もできる点がTransformerの核心となっている。

9. 問9．スケールドドット積注意では、QueryとKeyの内積をKeyの次元数の平方根で割ることでsoftmaxの飽和と勾配消失を防いでいる。

   正解：○（正しい）

   解説：次元d_kが大きいと内積の値が大きくなりsoftmaxが飽和して勾配が極端に小さくなる。これを避けるため内積を√d_kで割ってスケールを調整する。これがScaled Dot-Product Attentionと呼ばれる仕組みである。

10. 問10．マルチヘッドアテンション（Multi-Head Attention）は、注意機構を複数並列に実行し異なる表現部分空間で多様な関係性を同時に捉える。

    正解：○（正しい）

    解説：Query・Key・Valueを複数のヘッドに分割して並列に注意を計算し、結果を結合して線形変換する。各ヘッドが構文や意味など異なる関係を学習できるため、単一ヘッドより表現力が高まるのが利点である。

11. 問11．Transformerは再帰構造を持たないため、単語の順序情報を補う目的で位置エンコーディングを入力埋め込みに加算する。

    正解：○（正しい）

    解説：Self-Attentionは系列を集合的に扱い順序を区別しないため、sin/cos関数による位置情報を埋め込みに足して語順を表現する。これにより並列計算の利点を保ちつつ系列の順序関係を扱えるようになっている。

12. 問12．BERTはMasked Language Model（マスク言語モデル）により、文中の一部をマスクし両側の文脈から予測して双方向の言語理解を学習する。

    正解：○（正しい）

    解説：BERTは入力トークンの約15%をマスクし、その前後両方の文脈から元の単語を予測するよう学習する。この双方向の予測タスクにより文脈を深く理解した表現を獲得でき、多くの理解系タスクで高い性能を示す。

13. 問13．GPTシリーズは自己回帰型（autoregressive）言語モデルであり、直前までの単語列から次の単語を予測する形で学習・生成を行う。

    正解：○（正しい）

    解説：GPTはTransformerのデコーダを用い、左から右へ次のトークンを予測する自己回帰型モデルである。文章生成に強く、GPT-3やChatGPTのように大規模化することで高度な生成能力を発揮する基盤となっている。

14. 問14．T5（Text-to-Text Transfer Transformer）は、翻訳・要約・分類など多様なNLPタスクをすべてテキストからテキストへの変換として統一的に扱う。

    正解：○（正しい）

    解説：GoogleのT5は入力も出力もテキストに統一し、タスクの種類をプレフィックスとして与える。エンコーダ・デコーダ構成で多様なタスクを1つの枠組みで学習でき、転移学習を体系的に行える点が特徴である。

15. 問15．word2vecのCBOW（Continuous Bag-of-Words）は、周辺の文脈語から中心の単語を予測することで単語の分散表現を学習する。

    正解：○（正しい）

    解説：CBOWは周辺語を入力として中心語を予測する。逆に中心語から周辺語を予測するのがskip-gramである。いずれもword2vecの学習方式で、単語を意味的関係を捉えた密なベクトルへ写像する手法である。

16. 問16．BPE（Byte Pair Encoding）は、出現頻度の高い文字ペアを繰り返し統合してサブワード語彙を構築するトークン化手法である。

    正解：○（正しい）

    解説：BPEは頻出する隣接文字対を1単位に併合する操作を反復し、語彙サイズの抑制と未知語対応を両立する。GPTをはじめ多くの言語モデルで採用されており、サブワード分割の代表的アルゴリズムである。

17. 問17．パープレキシティ（perplexity）は言語モデルの予測性能を測る指標であり、値が小さいほど次の単語をよく予測できるとされる。

    正解：○（正しい）

    解説：パープレキシティはモデルが次単語を予測する際の平均的な迷いの度合いを表す。値が小さいほど予測がよく当たり良いモデルとされる。言語モデルそのものの性能を測る代表的な内的評価指標である。

18. 問18．WaveNet（DeepMind）は生のオーディオ波形を直接モデル化する音声合成手法で、自然で人間に近い音声を生成できる。

    正解：○（正しい）

    解説：WaveNetは因果的な畳み込みで波形のサンプルを逐次予測して生成する。従来の連結合成より自然な音声を生み出し、音声合成の品質を大きく向上させた。後の対話アシスタントの音声などに応用されている。

19. 問19．GPTのデコーダではマスク付き自己注意を用い、各位置が未来のトークンを参照できないように制限している。

    正解：○（正しい）

    解説：自己回帰生成では予測時にまだ生成していない未来情報を見てはならない。そのため未来位置をマスクして注意を制限し、左から右への一貫した生成を成立させている。これが因果的な言語モデルの基本構造である。

20. 問20．GRUにはLSTMのような独立したセル状態とゲートが3つあり、LSTMよりもパラメータ数が多い。

    正解：×（誤り）

    解説：誤り。GRUはセル状態を持たず、ゲートも更新ゲートとリセットゲートの2つだけである。入力・忘却・出力の3ゲートとセル状態を持つLSTMよりパラメータが少なく軽量で、学習も比較的速いのが特徴である。

21. 問21．Self-Attentionは系列の順序情報を内在的に保持しているため、位置エンコーディングは不要である。

    正解：×（誤り）

    解説：誤り。Self-Attentionは系列を集合的に処理し順序を区別しない。正しくは位置エンコーディングを埋め込みに加算して語順情報を明示的に与える必要があり、これを省くと単語の並びを学習できなくなる。

22. 問22．BERTは自己回帰型（左から右への生成）モデルであり、文章生成を主目的として設計されている。

    正解：×（誤り）

    解説：誤り。BERTはマスク言語モデルによる双方向の理解モデルであり、文章生成は不得手である。正しくは自己回帰型で生成に強いのはGPTシリーズであり、BERTとGPTは設計思想と用途が大きく異なる。

23. 問23．BLEUスコアは値が小さいほど機械翻訳の品質が高いことを意味する。

    正解：×（誤り）

    解説：誤り。BLEUは生成訳と参照訳のn-gram一致度を測る指標であり、正しくは値が大きい（1や100に近い）ほど翻訳品質が高いことを示す。短すぎる訳にはbrevity penaltyが課される仕組みも備える。

24. 問24．パープレキシティは値が大きいほど言語モデルの予測性能が高いことを示す指標である。

    正解：×（誤り）

    解説：誤り。パープレキシティは次単語予測の不確かさを表す指標であり、正しくは値が小さいほど予測がよく当たり性能が高い良いモデルとされる。値が大きいほど予測に迷っており性能が低いことを意味する。

25. 問25．word2vecのCBOWは中心語から周辺語を予測し、skip-gramは周辺語から中心語を予測するモデルである。

    正解：×（誤り）

    解説：誤り。説明が逆である。正しくはCBOWが周辺語から中心語を予測し、skip-gramが中心語から周辺語を予測する。skip-gramは低頻度語の表現学習に比較的強いとされ、用途に応じて使い分けられる。

26. 問26．fastTextは単語を分割不可能な1つの単位として扱うため、未知語のベクトルは一切構成できない。

    正解：×（誤り）

    解説：誤り。fastTextは単語を文字n-gram（サブワード）の集合として表現する。正しくは未知語であっても構成要素の部分文字列から埋め込みを合成できるため、未知語に強く形態の豊かな言語にも適している。

27. 問27．Transformerはエンコーダ・デコーダともに畳み込み層（CNN）を主構成要素として用いている。

    正解：×（誤り）

    解説：誤り。Transformerの中核はSelf-Attentionと位置ごとの全結合（フィードフォワード）層である。正しくは畳み込み層や再帰構造を基本構成に含まず、注意機構によって系列の依存関係を捉える設計である。

28. 問28．BPEは出現頻度の低い文字ペアを優先して統合していくことでサブワード語彙を構築する手法である。

    正解：×（誤り）

    解説：誤り。BPEは出現頻度の高い文字ペアを繰り返し統合してサブワード語彙を構築する。正しくは頻出パターンを1単位にまとめることで効率的な語彙を作り、語彙サイズの抑制と未知語対応を両立する手法である。

29. 問29．seq2seqモデルは入力系列と出力系列の長さが必ず一致していなければ動作しない。

    正解：×（誤り）

    解説：誤り。seq2seqはエンコーダ・デコーダ構造を持つため、正しくは入力と出力の長さが異なってもよい。だからこそ入出力長が変わる機械翻訳や文書要約、対話システムといったタスクに広く応用できる。

30. 問30．ROUGEは主に機械翻訳の評価に用いられ、自動要約の評価にはまったく使われない指標である。

    正解：×（誤り）

    解説：誤り。ROUGEは正しくは主に自動要約の評価に用いられる再現率寄りの指標であり、参照要約との語句の重なりを測る。機械翻訳評価の代表はBLEUであり、両者は対象タスクと算出方針が異なる指標である。

31. 問31．マルチヘッドアテンションは単一の注意ヘッドのみを用いるため、異なる種類の関係性を同時に学習することはできない。

    正解：×（誤り）

    解説：誤り。マルチヘッドは複数のヘッドを並列に持つ機構である。正しくは各ヘッドが構文や意味など異なる表現部分空間の関係を同時に学習でき、これにより単一ヘッドより豊かな表現力を得られるのが利点である。

32. 問32．LSTMの忘却ゲートは常に1を出力し、過去の情報をすべて無条件に保持し続ける。

    正解：×（誤り）

    解説：誤り。忘却ゲートは0〜1の値を学習し、状況に応じて情報の保持量を調整する。正しくは不要な過去情報を選択的に捨てる役割を持ち、常に1を返すならば長期依存の制御ができず性能を発揮できない。

33. 問33．WaveNetは画像分類専用のアーキテクチャであり、音声分野には一切用いられない。

    正解：×（誤り）

    解説：誤り。WaveNetは音声波形を直接生成する音声合成の手法であり、音声認識などにも応用される。正しくは音声分野のモデルであって画像分類専用ではなく、自然な音声生成を実現した点で評価されている。

34. 問34．知識蒸留では生徒モデルが教師モデルより必ず大きくなり、計算コストも増大する。

    正解：×（誤り）

    解説：誤り。知識蒸留では生徒モデルの方が教師モデルより小さく軽量である。正しくは大きな教師の知識を小さな生徒に移すことで軽量化と高速化を図る手法であり、DistilBERTがその代表例として知られる。

35. 問35．GPTのデコーダはマスクを使わず、生成中に未来のトークンを自由に参照しながら次の単語を予測する。

    正解：×（誤り）

    解説：誤り。GPTはマスク付き自己注意を用い未来トークンを参照できないようにする。正しくは自己回帰生成ではまだ生成していない未来情報を見てはならず、左から右への一貫した生成を保証するためにマスクが必要である。

36. 問36．双方向RNNはリアルタイムのオンライン推論（系列が逐次到着する場面）に最も適している。

    正解：×（誤り）

    解説：誤り。双方向RNNは後ろ向きの処理に未来の入力を必要とする。正しくは系列全体が揃ってから処理する用途に向いており、入力が逐次到着するオンライン推論には不向きで、その場合は単方向RNN等が用いられる。

37. 問37．ELMoは文脈に依存しない静的な単語ベクトルを与えるため、多義語を文脈で区別することはできない。

    正解：×（誤り）

    解説：誤り。ELMoは双方向LSTM言語モデルから文脈化単語表現を与える。正しくは同じ単語でも文脈により異なるベクトルになるため多義語を区別できる。静的な単語ベクトルを与えるのはword2vecやGloVeである。

38. 問38．RoBERTaはBERTにNext Sentence Predictionを追加し、学習データを削減することで性能を向上させた。

    正解：×（誤り）

    解説：誤り。RoBERTaはNext Sentence Predictionを廃止している。正しくはより大規模なデータと長い学習、動的マスキングなどの工夫で性能を高めており、学習データを削減したという説明も事実と異なっている。

39. 問39．GRUのゲート構成として正しいものはどれか。

    • ア．忘却ゲートのみの1ゲート
    • イ．入力・忘却・出力の3ゲート
    • ウ．更新ゲートとリセットゲートの2ゲート
    • エ．注意ゲートと畳み込みゲートの2ゲート

    正解：ウ．更新ゲートとリセットゲートの2ゲート

    解説：GRUは更新ゲート（update gate）とリセットゲート（reset gate）の2ゲートで構成される。LSTMの入力・忘却・出力の3ゲートを簡略化した軽量モデルで、セル状態を持たず隠れ状態を直接更新する。

40. 問40．LSTMが持つ3つのゲートの組合せとして正しいものはどれか。

    • ア．更新ゲート・リセットゲート・注意ゲート
    • イ．畳み込みゲート・プーリングゲート・全結合ゲート
    • ウ．前向きゲート・後ろ向きゲート・正規化ゲート
    • エ．入力ゲート・忘却ゲート・出力ゲート

    正解：エ．入力ゲート・忘却ゲート・出力ゲート

    解説：LSTMは入力ゲート・忘却ゲート・出力ゲートの3ゲートとセル状態を持つ。これらのゲートで情報の流れを制御することで長期依存（勾配消失）を緩和し、長い系列の学習を可能にしている。

41. 問41．Transformerにおいて、Self-Attentionが捉えるのに最も得意とするものはどれか。

    • ア．系列内の長距離依存関係
    • イ．数値テーブルの欠損値補完
    • ウ．音声の周波数スペクトルのみ
    • エ．画像のエッジなど局所的な空間特徴

    正解：ア．系列内の長距離依存関係

    解説：Self-Attentionは系列内の任意の2要素を直接結びつけられるため、RNNが苦手とする長距離依存関係を効率よく捉えられる。これがTransformerが長文の文脈処理に強い理由の一つとなっている。

42. 問42．スケールドドット積注意で内積をスケーリングする際に割る値として正しいものはどれか。

    • ア．系列長そのもの
    • イ．Keyの次元数の平方根（√d_k）
    • ウ．学習率
    • エ．ヘッド数の2乗

    正解：イ．Keyの次元数の平方根（√d_k）

    解説：QueryとKeyの内積をKeyの次元数d_kの平方根（√d_k）で割る。これにより次元が大きいときのsoftmaxの飽和と勾配消失を防ぎ、安定した学習を可能にしているのがスケールドドット積注意である。

43. 問43．マルチヘッドアテンションを用いる主な目的として最も適切なものはどれか。

    • ア．パラメータ数を1ヘッドより必ず減らすため
    • イ．位置情報を不要にするため
    • ウ．異なる表現部分空間で多様な関係性を同時に学習するため
    • エ．勾配消失を完全になくすため

    正解：ウ．異なる表現部分空間で多様な関係性を同時に学習するため

    解説：複数のヘッドが異なる表現部分空間で別々の関係性（構文・意味など）を並列に学習できるため、表現力が向上する。単一ヘッドでは捉えにくい多様な依存関係を同時に扱えるのが大きな利点である。

44. 問44．Transformerが単語の順序情報を扱うために入力埋め込みへ加える要素はどれか。

    • ア．ドロップアウト層
    • イ．バッチ正規化
    • ウ．プーリング層
    • エ．位置エンコーディング（Positional Encoding）

    正解：エ．位置エンコーディング（Positional Encoding）

    解説：Transformerは再帰や畳み込みを用いず順序を区別しないため、sin/cos関数などによる位置エンコーディングを埋め込みに加算して語順を表現する。これにより並列計算しつつ系列の順序を扱える。

45. 問45．BERTの事前学習タスクとして用いられるものの組合せとして正しいものはどれか。

    • ア．マスク言語モデルと次文予測
    • イ．次単語予測と画像分類
    • ウ．強化学習報酬と方策勾配
    • エ．オートエンコーダ再構成と敵対的学習

    正解：ア．マスク言語モデルと次文予測

    解説：BERTはMasked Language Model（マスク単語予測）とNext Sentence Prediction（次文予測）の2タスクで事前学習する双方向Transformerである。これにより文中と文間の両方の関係を学習する。

46. 問46．GPTシリーズの言語モデルの種類として正しいものはどれか。

    • ア．双方向エンコーダ型
    • イ．自己回帰型（左から右への生成）
    • ウ．畳み込みベースの分類型
    • エ．ルールベースの記号処理型

    正解：イ．自己回帰型（左から右への生成）

    解説：GPTはTransformerデコーダを用い直前までの単語から次の単語を予測する自己回帰型（autoregressive）言語モデルである。文章生成に強く、大規模化することで高度な生成能力を発揮する。

47. 問47．word2vecで『周辺語から中心語を予測する』学習手法はどれか。

    • ア．GloVe
    • イ．skip-gram
    • ウ．CBOW
    • エ．fastText

    正解：ウ．CBOW

    解説：周辺語から中心語を予測するのがCBOWである。逆に中心語から周辺語を予測するのがskip-gramで、両者ともword2vecの学習方式である。CBOWは学習が速く、skip-gramは低頻度語に強い傾向がある。

48. 問48．単語を文字n-gram（サブワード）の集合で表現し未知語に強い分散表現手法はどれか。

    • ア．word2vec（skip-gram）
    • イ．TF-IDF
    • ウ．one-hotエンコーディング
    • エ．fastText

    正解：エ．fastText

    解説：fastTextは単語を文字n-gramに分解して埋め込みを合成するため、学習時に出現しなかった未知語でも部分文字列の組合せからベクトルを構成できる。形態の豊かな言語に強い分散表現手法である。

49. 問49．単語の共起統計を大域的に活用して単語ベクトルを学習する分散表現手法はどれか。

    • ア．GloVe
    • イ．BERT
    • ウ．CTC
    • エ．WaveNet

    正解：ア．GloVe

    解説：GloVe（Global Vectors）は単語の共起確率の比に基づき大域的な統計情報を活用して埋め込みを学習する。Stanfordが提案した手法で、word2vecと並ぶ代表的な静的単語分散表現である。

50. 問50．頻出する隣接文字ペアを繰り返し統合してサブワード語彙を作るトークン化手法はどれか。

    • ア．形態素解析
    • イ．BPE（Byte Pair Encoding）
    • ウ．one-hot分割
    • エ．正規化（normalization）

    正解：イ．BPE（Byte Pair Encoding）

    解説：BPE（Byte Pair Encoding）は頻度の高い隣接文字対を反復的に併合してサブワード語彙を構築する。語彙サイズを抑えつつ未知語に対応でき、GPTをはじめ多くの言語モデルで採用されている。

51. 問51．BERTで採用されているサブワードトークン化手法として知られるものはどれか。

    • ア．ハフマン符号化
    • イ．n-gram言語モデル
    • ウ．WordPiece
    • エ．ランレングス圧縮

    正解：ウ．WordPiece

    解説：BERTはWordPieceを採用する。BPEに似た頻度ベースのサブワード手法だが、語彙への併合を尤度（likelihood）の向上で選ぶ点に特徴がある。未知語の発生を抑えつつ語彙を効率化できる。

52. 問52．言語モデルそのものの予測性能を測る内的評価指標として最も代表的なものはどれか。

    • ア．BLEU
    • イ．ROUGE
    • ウ．F値
    • エ．パープレキシティ（perplexity）

    正解：エ．パープレキシティ（perplexity）

    解説：パープレキシティは次単語予測の不確かさを表し、小さいほど良い言語モデルとされる。BLEUは機械翻訳、ROUGEは自動要約の評価指標であり、対象や算出方針がそれぞれ異なる点に注意が必要である。

53. 問53．機械翻訳の自動評価で、生成訳と参照訳のn-gram一致度を基に算出される指標はどれか。

    • ア．BLEU
    • イ．パープレキシティ
    • ウ．AUC
    • エ．ROUGE

    正解：ア．BLEU

    解説：BLEUはn-gram適合率に短すぎる訳へのbrevity penaltyを組み合わせた機械翻訳の代表的な自動評価指標である。値が大きいほど参照訳に近く品質が高いと評価され、翻訳分野で広く使われている。

54. 問54．自動要約の評価で主に用いられ、参照要約との重なりを再現率中心に測る指標はどれか。

    • ア．BLEU
    • イ．ROUGE
    • ウ．RMSE
    • エ．対数尤度のみ

    正解：イ．ROUGE

    解説：ROUGEは要約評価で広く使われ、n-gramや最長共通部分列の重なりを再現率寄りで測る指標である。ROUGE-NやROUGE-Lなどの種類があり、生成要約が参照要約をどれだけ網羅したかを評価する。

55. 問55．生のオーディオ波形を直接生成して自然な音声合成を実現したモデルはどれか。

    • ア．ResNet
    • イ．GAN
    • ウ．WaveNet
    • エ．Word2Vec

    正解：ウ．WaveNet

    解説：WaveNet（DeepMind）は因果的な畳み込みで波形のサンプルを逐次生成し、従来の連結合成より自然な音声合成を達成した。音声アシスタントの読み上げ音声などに応用され、品質を大きく高めた。

56. 問56．入力フレームと出力ラベルのアライメントが未知でも音声認識を学習できる損失/手法はどれか。

    • ア．L2正則化
    • イ．クロスエントロピーのみ
    • ウ．ヒンジ損失
    • エ．CTC

    正解：エ．CTC

    解説：CTC（Connectionist Temporal Classification）は空白ラベルを導入し、入力と出力の対応付けを明示せず確率を周辺化することで系列ラベリングを学習する。アライメント不要なため音声認識で広く使われる。

57. 問57．文中から人名・地名・組織名などを識別して分類するNLPタスクはどれか。

    • ア．固有表現抽出（NER）
    • イ．機械翻訳
    • ウ．感情分析
    • エ．文書要約

    正解：ア．固有表現抽出（NER）

    解説：固有表現抽出（NER）は人名・地名・組織名などの固有表現を識別して分類する系列ラベリングタスクである。BIO記法などで境界と種別を表し、情報抽出や質問応答の基盤技術として用いられる。

58. 問58．RNNの学習で長系列のときに起こる勾配爆発への対策として最も適切なものはどれか。

    • ア．学習率を無限大にする
    • イ．勾配クリッピング（gradient clipping）
    • ウ．活性化関数を線形にする
    • エ．全結合層を削除する

    正解：イ．勾配クリッピング（gradient clipping）

    解説：勾配クリッピングは勾配のノルムが閾値を超えたら縮小して爆発を防ぐ手法である。RNNやLSTMの安定的な学習で広く使われ、長系列のBPTTで生じやすい勾配爆発に対する基本的な対策となっている。

59. 問59．seq2seqモデルの代表的な応用タスクとして最も適切なものはどれか。

    • ア．画像のセグメンテーション
    • イ．クラスタリング
    • ウ．機械翻訳
    • エ．数値の回帰予測のみ

    正解：ウ．機械翻訳

    解説：seq2seqはエンコーダ・デコーダ構造で異なる長さの入出力を扱えるため、機械翻訳・文書要約・対話システムなどに用いられる。入力と出力の長さが変わるタスクに適しているのが大きな特徴である。

60. 問60．注意機構（Attention）がseq2seqにもたらした主な改善点として正しいものはどれか。

    • ア．計算量をゼロにした
    • イ．学習データを不要にした
    • ウ．出力を必ず入力と同じ長さにした
    • エ．固定長ベクトルのボトルネックを解消し関連箇所を参照可能にした

    正解：エ．固定長ベクトルのボトルネックを解消し関連箇所を参照可能にした

    解説：Attentionは固定長コンテキストベクトルのボトルネックを解消し、デコーダが各ステップで入力の関連箇所を直接参照できるようにした。これにより長文の翻訳精度などが大きく向上したのが主な改善点である。

61. 問61．大きな教師モデルの知識を小さなモデルに移して軽量化・高速化する手法はどれか。

    • ア．知識蒸留（knowledge distillation）
    • イ．ドロップアウト
    • ウ．データ拡張
    • エ．アーリーストッピング

    正解：ア．知識蒸留（knowledge distillation）

    解説：知識蒸留（knowledge distillation）は教師モデルの出力分布を生徒モデルに学習させて軽量・高速化する手法である。DistilBERTが代表例で、性能の多くを保ちつつモデルサイズと推論コストを削減できる。

62. 問62．Transformerの各サブlayerで学習を安定化させるために併用される2つの要素はどれか。

    • ア．ドロップアウトとバッチ正規化のみ
    • イ．残差接続と層正規化
    • ウ．プーリングと畳み込み
    • エ．再帰結合と忘却ゲート

    正解：イ．残差接続と層正規化

    解説：Transformerは残差接続（スキップ接続）と層正規化（Layer Normalization）を併用する。残差接続で勾配が伝わりやすくなり、層正規化で各層の入力分布が安定するため、深いネットワークでも学習が安定する。

63. 問63．GPTが採用するTransformerの構成要素として正しいものはどれか。

    • ア．エンコーダのみ
    • イ．畳み込み層のみ
    • ウ．デコーダのみ（マスク付き自己注意）
    • エ．RNNのみ

    正解：ウ．デコーダのみ（マスク付き自己注意）

    解説：GPTはデコーダのみ（マスク付き自己注意）を用いる自己回帰型である。これに対しBERTはエンコーダのみ、T5はエンコーダ・デコーダ両方を用いるなど、モデルごとに構成と用途が異なる点が重要である。

64. 問64．文脈に応じて単語ベクトルが変化する文脈化単語表現を提供したモデルはどれか。

    • ア．word2vec
    • イ．fastText
    • ウ．GloVe
    • エ．ELMo

    正解：エ．ELMo

    解説：ELMoは双方向LSTM言語モデルから文脈依存の埋め込みを生成し、同じ単語でも文脈で異なるベクトルを与える。word2vec・GloVe・fastTextは文脈に依存しない静的な単語分散表現である点が異なる。

65. 問65．多様なNLPタスクをすべてテキストからテキストへの変換として統一的に扱うモデルはどれか。

    • ア．T5
    • イ．WaveNet
    • ウ．word2vec
    • エ．ELMo

    正解：ア．T5

    解説：T5（Text-to-Text Transfer Transformer）は入力・出力をともにテキストに統一し、タスクの種類をプレフィックスで与えるエンコーダ・デコーダ型である。多様なタスクを1つの枠組みで扱える点が特徴である。

66. 問66．BERTを改良し、Next Sentence Predictionを廃止して大規模データ・長い学習で性能を高めたモデルはどれか。

    • ア．DistilBERT
    • イ．RoBERTa
    • ウ．GPT-2
    • エ．ELMo

    正解：イ．RoBERTa

    解説：RoBERTaはNext Sentence Predictionを除去し、動的マスキングや大きなバッチ、長期学習を採用してBERTを上回った。事前学習の設定を最適化することの重要性を示したモデルとして知られている。

67. 問67．双方向RNNの特徴として正しいものはどれか。

    • ア．画像専用で系列は扱えない
    • イ．未来情報を一切使わず逐次のみ処理する
    • ウ．前後両方向から系列を処理し過去と未来の文脈を統合する
    • エ．勾配を必ずゼロにする

    正解：ウ．前後両方向から系列を処理し過去と未来の文脈を統合する

    解説：双方向RNNは前向きと後ろ向きの2つのRNNを併用し、各時刻で過去と未来の文脈を統合する。固有表現抽出などの系列ラベリングに有効だが、未来情報が必要なためオンライン逐次推論には不向きである。

68. 問68．Self-Attentionでの出力計算の流れとして正しいものはどれか。

    • ア．Valueの最大値だけを選んで出力する
    • イ．QとVの差分をそのまま出力する
    • ウ．Kを畳み込んでプーリングする
    • エ．QとKの類似度をsoftmaxで重み化しVを加重和する

    正解：エ．QとKの類似度をsoftmaxで重み化しVを加重和する

    解説：QueryとKeyの類似度（内積）をsoftmaxで重みに変換し、その重みでValueを加重和して出力を得る。これがスケールドドット積注意の基本的な計算であり、関連度の高い要素ほど強く反映される。

69. 問69．サブワード分割（BPE・WordPiece等）が現代の言語モデルで広く使われる理由として最も適切なものはどれか。

    • ア．語彙数を抑えつつ未知語の発生を減らせるため
    • イ．必ず1単語1トークンになるため
    • ウ．計算量を完全にゼロにできるため
    • エ．学習データを不要にできるため

    正解：ア．語彙数を抑えつつ未知語の発生を減らせるため

    解説：サブワードは単語を部分単位の組合せで表せるため、語彙数を抑えつつ未知語（OOV）の発生を減らせる。これが多くの言語モデルでサブワード分割が標準的に採用されている主な理由となっている。

70. 問70．感情分析（sentiment analysis）の説明として正しいものはどれか。

    • ア．音声波形から話者を特定するタスク
    • イ．文章の極性（肯定・否定など）を判定するタスク
    • ウ．画像から物体を検出するタスク
    • エ．数値系列を補間するタスク

    正解：イ．文章の極性（肯定・否定など）を判定するタスク

    解説：感情分析は文章が肯定的・否定的・中立的かといった極性を判定するテキスト分類タスクである。商品レビューやSNS投稿の分析に応用され、企業の評判分析や顧客の声の把握などに広く活用されている。

71. 問71．Transformerが大規模学習に適しているとされる主な理由はどれか。

    • ア．逐次処理で必ず順番に計算する必要があるため
    • イ．パラメータが常に固定で増えないため
    • ウ．系列を並列に処理でき大規模並列学習に向くため
    • エ．学習データが少なくて済むことが保証されるため

    正解：ウ．系列を並列に処理でき大規模並列学習に向くため

    解説：Self-Attentionは系列を逐次処理せず全位置を並列に計算できるため、GPUでの大規模並列学習に向いている。これがRNNとの大きな違いであり、大規模言語モデルの学習を可能にした重要な要因である。

72. 問72．質問応答（QA）タスクの説明として最も適切なものはどれか。

    • ア．画像から領域を切り出すタスク
    • イ．データを圧縮するタスク
    • ウ．音声を文字に書き起こすタスク
    • エ．質問に対し文書や知識から回答を返すタスク

    正解：エ．質問に対し文書や知識から回答を返すタスク

    解説：質問応答は与えられた質問に対し、文書や知識ベースから適切な回答を返すタスクである。文書中の該当箇所を選ぶ抽出型と、回答文を生成する生成型があり、BERTやGPT系のモデルが活用されている。

73. 問73．Transformerと比較したRNN（LSTM・GRU含む）の特徴として正しいものはどれか。

    • ア．時刻を逐次処理するため並列化が難しい
    • イ．全位置を完全並列で計算する
    • ウ．位置エンコーディングが必須である
    • エ．畳み込みのみで構成される

    正解：ア．時刻を逐次処理するため並列化が難しい

    解説：RNNは時刻を逐次的に処理するため並列化が難しく、長系列では勾配消失も起きやすい。これに対しTransformerはSelf-Attentionにより並列処理と長距離依存処理に優れ、大規模学習に適している。

74. 問74．事前学習済み言語モデルを少量のタスク特化データで微調整して個別タスクに適応させる工程の名称はどれか。

    • ア．プレトレーニング（事前学習）
    • イ．ファインチューニング（微調整）
    • ウ．データクレンジング
    • エ．次元削減

    正解：イ．ファインチューニング（微調整）

    解説：ファインチューニング（微調整）は、大規模コーパスでの事前学習で得た汎用表現を、少量のタスクデータで個別タスクへ適応させる工程である。少量データでも高い性能を出せる転移学習の標準的な手法である。

75. 問75．機械翻訳・要約・対話のように入力と出力の長さが異なる系列変換に適した基本アーキテクチャはどれか。

    • ア．単層パーセプトロン
    • イ．畳み込みニューラルネットワーク
    • ウ．エンコーダ・デコーダ構造（seq2seq）
    • エ．自己組織化マップ

    正解：ウ．エンコーダ・デコーダ構造（seq2seq）

    解説：エンコーダ・デコーダ構造（seq2seq）は入力系列を符号化し、それを基に異なる長さの出力系列を生成できる。入出力長が変わる機械翻訳・要約・対話などの系列変換タスクに適した基本アーキテクチャである。