生成AIパスポート「第2章：生成AIの仕組み」の一問一答

生成AIパスポートの第2章：生成AIの仕組みに関する一問一答（全46問）の正解と解説の一覧です。上の一問一答で実際に解いてから、ここで復習・確認できます。

1. 問1．生成AI（ジェネレーティブAI）とは、学習データのパターンをもとに、文章・画像・音声・動画などの新しいコンテンツを生成するAIである。

   正解：○（正しい）

   解説：生成AIは、大量のデータから学んだパターンを使って、これまでになかった文章・画像・音声・コードなどを新たに作り出すAIです。既存データを分類・予測する従来型AIとの違いです。

2. 問2．大規模言語モデル（LLM）は、膨大なテキストを学習し、次に来る単語（トークン）を確率的に予測することで文章を生成する。

   正解：○（正しい）

   解説：LLMは「次のトークンを予測する」ことを繰り返して文章を生成します。学習データが多く、パラメータ数が大きいほど、一般に流暢で多様な文章を生成できる傾向があります。

3. 問3．生成AIは、既存データの中から正解を選ぶ・分類することだけを行い、新しいコンテンツを作り出すことはできない。

   正解：×（誤り）

   解説：誤り。分類・予測のみを行うのは従来型（識別系）のAIです。生成AIは学習したパターンから新しいコンテンツを生成できる点が特徴です。

4. 問4．画像生成で広く使われる「拡散モデル（Diffusion Model）」は、ノイズから徐々にノイズを除去していくことで画像を生成する仕組みである。

   正解：○（正しい）

   解説：拡散モデルは、ランダムなノイズから少しずつノイズを取り除いて目的の画像を作り出す仕組みで、画像生成AIで広く使われている代表的な生成方式の一つである。

5. 問5．GAN（敵対的生成ネットワーク）は、生成器（Generator）と識別器（Discriminator）を競わせながら学習させる仕組みである。

   正解：○（正しい）

   解説：GANは、本物らしいデータを作る生成器と、本物と偽物を見分ける識別器を互いに競わせることで、リアルな画像などを生成できるようにする手法です。

6. 問6．ファインチューニングとは、事前学習済みのモデルを特定の用途向けのデータで追加学習し、専門的なタスクに適応させることである。

   正解：○（正しい）

   解説：事前学習で汎用的な能力を得たモデルを、特定分野のデータで追加学習して専門特化させるのがファインチューニングです。少量データで調整できる手法もあります。

7. 問7．生成AIの出力は確率的に決まるため、設定によっては同じ入力でも毎回まったく同じ結果になるとは限らない。

   正解：○（正しい）

   解説：LLMは次のトークンを確率的に選ぶため、temperatureなどの設定によって出力は変動し得ます。毎回一字一句同じになるとは限りません。

8. 問8．コンテキストウィンドウ（コンテキスト長）とは、モデルが一度に扱える入力と出力のトークン量の上限のことである。

   正解：○（正しい）

   解説：コンテキストウィンドウは、モデルが一度に考慮できるトークン数の上限です。長い文書を扱うにはこの上限が大きいモデルや、RAGなどの工夫が必要になります。

9. 問9．マルチモーダルAIとは、テキストだけでなく画像・音声など複数の種類のデータを扱えるAIのことである。

   正解：○（正しい）

   解説：マルチモーダルAIは、文章・画像・音声・動画など複数の形式（モダリティ）を入力・出力として扱えるAIです。画像を見て説明する、音声で対話するなどが可能になります。

10. 問10．Transformerは再帰構造を持ち、単語を先頭から1つずつ順番に処理するため、単語の順序の情報を別に与える位置エンコーディングは必要ない。

    正解：×（誤り）

    解説：Transformerは再帰（RNN）も畳み込みも使わず系列を並列に処理するため、そのままでは単語の順序が分からない。そこで各トークンの位置を表す位置エンコーディングを埋め込みに加えて順序の情報を与える（Vaswani et al. 2017 3.5節）。

11. 問11．BERTの事前学習で、MLM（Masked Language Model）とあわせて用いられ、文Bが文Aの実際の続きか、コーパスから無作為に選んだ文かを判定させる学習課題はどれか。

    • ア．SOP
    • イ．NSP
    • ウ．RLHF
    • エ．RTD

    正解：イ．NSP

    解説：BERTは、MLMと、文の組（A, B）についてBが実際にAに続く文（IsNext）か無作為に選んだ文（NotNext）かを半々の割合で当てさせるNSP（Next Sentence Prediction）の2つの課題で事前学習された。SOP（Sentence Order Prediction）は、NSPの効果が弱いという指摘に対処するためにALBERTが導入した文の順序を当てさせる課題である。RLHFは人間の評価をもとに強化学習で応答を調整する手法（InstructGPTなど）、RTD（Replaced Token Detection）はELECTRAが提案した、各トークンが置き換えられたものかを見分ける事前学習課題で、どちらもBERTの事前学習課題ではない。

    根拠： Devlin et al.「BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding」（arXiv:1810.04805） 3.1 Pre-training BERT（two unsupervised tasks：Task #1 Masked LM／Task #2 Next Sentence Prediction (NSP)・IsNext/NotNext 50%）（PDF 4ページ） ／ Lan et al.「ALBERT: A Lite BERT for Self-supervised Learning of Language Representations」（arXiv:1909.11942） 1 Introduction（self-supervised loss for sentence-order prediction (SOP)…designed to address the ineffectiveness of the next sentence prediction (NSP) loss proposed in the original BERT）（PDF 2ページ） ／ Clark et al.「ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators」（arXiv:2003.10555） Abstract（a more sample-efficient pre-training task called replaced token detection） ／ Ouyang et al.「Training language models to follow instructions with human feedback」（arXiv:2203.02155） Abstract（fine-tune … using reinforcement learning from human feedback. We call the resulting models InstructGPT）

12. 問12．ランダムなノイズから、ノイズを少しずつ取り除く処理をくり返して画像を作り出す生成手法はどれか。

    • ア．GAN（敵対的生成ネットワーク）
    • イ．VAE（変分自己符号化器）
    • ウ．拡散モデル（Diffusion Model）
    • エ．自己回帰モデル（Autoregressive Model）

    正解：ウ．拡散モデル（Diffusion Model）

    解説：拡散モデルは、データにノイズを加えていく過程を逆にたどるよう学習し、ランダムなノイズから段階的にノイズを取り除いて画像を生成する。GANは生成器と識別器を競わせて学習し、VAEは潜在ベクトルからデコーダで画像を復元し、自己回帰モデルは生成済みの部分をもとに次の部分を順に予測する。画像生成には拡散モデルのほか自己回帰モデルも使われている。

13. 問13．「大規模言語モデル」を表す略称はどれか。

    • ア．LLM
    • イ．CNN
    • ウ．SQL
    • エ．HTTP

    正解：ア．LLM

    解説：大規模言語モデルはLLM（Large Language Model）です。CNNは画像向けニューラルネット、SQLはデータベース言語、HTTPは通信プロトコルです。

14. 問14．事前学習済みモデルを特定用途のデータで追加学習し、専門特化させることを何というか。

    • ア．ファインチューニング
    • イ．スクレイピング
    • ウ．正規化
    • エ．デプロイ

    正解：ア．ファインチューニング

    解説：特定用途に適応させる追加学習をファインチューニングといいます。スクレイピングはデータ収集、正規化はデータの尺度合わせ、デプロイは本番反映を指します。

15. 問15．テキスト・画像・音声など複数種類のデータを扱えるAIを何と呼ぶか。

    • ア．マルチモーダルAI
    • イ．シングルタスクAI
    • ウ．ルールベースAI
    • エ．エキスパートシステム

    正解：ア．マルチモーダルAI

    解説：複数のモダリティを扱えるAIをマルチモーダルAIといいます。近年の主要な生成AIサービスの多くがマルチモーダル対応を進めています。

16. 問16．BERTの事前学習で用いられた、文中の一部の単語を隠し、前後の文脈からその単語を当てさせる学習課題はどれか。

    • ア．MLM（Masked Language Model）
    • イ．NSP（Next Sentence Prediction）
    • ウ．RLHF（人間のフィードバックによる強化学習）
    • エ．GAN（敵対的生成ネットワーク）

    正解：ア．MLM（Masked Language Model）

    解説：BERTは、入力の一部のトークンを隠して予測させるMLMと、2つの文が連続するかを判定するNSPの2つの課題で事前学習された（Devlin et al. 2019）。前後両方向の文脈を使う点が、次のトークンを予測するGPTとの違いである。

17. 問17．Transformerは、系列データを並列的に処理し、アテンション機構を中核とするニューラルネットワークのアーキテクチャである。

    正解：○（正しい）

    解説：Transformerは、単語間の関係をアテンションで捉え、系列全体を並列的に処理できる構造を持つ。多くの大規模言語モデルの土台となっているアーキテクチャである。

18. 問18．アテンション（注意機構）は、入力系列の中で各要素が他のどの要素に注目すべきかを重み付けし、文脈を捉える仕組みである。

    正解：○（正しい）

    解説：アテンションは、ある単語を処理する際に文中の関連する単語へ動的に重みを割り当てる。これにより離れた語どうしの関係や文脈を効率よく捉えられる。

19. 問19．トークン化（トークナイズ）とは、文章を単語や部分語（サブワード）などの処理単位であるトークンに分割することである。

    正解：○（正しい）

    解説：言語モデルは文章をそのままではなくトークンという単位に区切って処理する。トークンは単語・部分語・記号などで、モデルはこの単位で入出力を扱う。

20. 問20．単語埋め込み（エンベディング）は、単語や文を意味的な関係を反映した数値ベクトルとして表現する技術である。

    正解：○（正しい）

    解説：埋め込みは、意味の近い語がベクトル空間上で近くに配置されるように単語を数値化する。これによりモデルは語の意味的な関係を計算で扱えるようになる。

21. 問21．事前学習（pre-training）は、大量のデータでモデルに汎用的な言語能力を獲得させる段階であり、その後の追加学習の土台となる。

    正解：○（正しい）

    解説：事前学習では、膨大なデータから言語の一般的なパターンを幅広く学ぶ。ここで得た汎用能力を土台に、ファインチューニングなどで特定用途へ適応させる。

22. 問22．転移学習とは、あるタスクで学習して得た知識を一切使わず、新しいタスクごとに毎回ゼロから学習し直す手法である。

    正解：×（誤り）

    解説：誤り。転移学習は、あるタスクで学習して得た知識を別の関連するタスクの学習に活用する手法である。ゼロから学習し直すものではない。

23. 問23．RLHF（人間のフィードバックによる強化学習）は、人間による出力の評価を報酬として用い、モデルの応答を人間の好みに合わせて調整する手法である。

    正解：○（正しい）

    解説：RLHFは、人間が出力の良し悪しを評価し、それを報酬信号として強化学習でモデルを調整する。より安全で有用な応答へ近づけるために用いられる。

24. 問24．基盤モデル（ファウンデーションモデル）とは、単一の特定タスク専用に小規模なデータで学習され、他の用途には応用できないモデルを指す。

    正解：×（誤り）

    解説：誤り。基盤モデルは大規模なデータで学習され、多様な下流タスクに適応・応用できる大規模なモデルを指す。

25. 問25．temperature（温度）パラメータを高く設定すると、出力される単語の選択がより多様・ランダムになる傾向がある。

    正解：○（正しい）

    解説：temperatureは出力のばらつきを調整する値である。高くすると確率の低い語も選ばれやすくなり多様な出力になり、低くすると確率の高い語に偏り安定する。

26. 問26．トークンは常に1つの単語とちょうど一致し、どの言語であっても1単語は必ず1トークンとして扱われる。

    正解：×（誤り）

    解説：誤り。トークンは部分語や記号単位のこともあり、1つの単語が複数のトークンに分割される場合もある。トークンと単語は必ずしも一致しない。

27. 問27．単語埋め込み（エンベディング）とは、各単語に意味とは無関係な通し番号を割り当てるだけの処理である。

    正解：×（誤り）

    解説：誤り。正しくは、埋め込みは意味的な関係を反映した数値ベクトルで単語を表現する技術である。単なる通し番号の付与では意味の近さを表現できない。

28. 問28．自己回帰型の言語モデルは、文章中のすべての単語を一度に同時生成し、順番に予測することはない。

    正解：×（誤り）

    解説：誤り。正しくは、自己回帰型モデルは生成済みのトークンをもとに次の1トークンを逐次的に予測し、それを繰り返して文章を生成する。

29. 問29．temperature（温度）パラメータの値を下げるほど、出力はよりランダムで多様なものになる。

    正解：×（誤り）

    解説：誤り。正しくは、temperatureを下げるほど確率の高い語に偏り、出力は決定的・保守的になる。多様でランダムになるのは値を上げたときである。

30. 問30．ハルシネーションは、モデルが意図的に嘘をつくように設計されているために起きる現象である。

    正解：×（誤り）

    解説：誤り。正しくは、ハルシネーションはもっともらしい語を確率的に生成する仕組みの副産物であり、事実を照合する能力を持たないために起こる。意図的な虚偽ではない。

31. 問31．モデルのパラメータ（重み）は、学習が終わったあとに人間が一つひとつ手作業で数値を設定するものである。

    正解：×（誤り）

    解説：誤り。正しくは、パラメータは学習の過程でデータから自動的に調整される。膨大な数のパラメータを人間が手作業で設定することは現実的でない。

32. 問32．GANにおいて、本物らしいデータを新たに作り出す役割を担うのは識別器（Discriminator）である。

    正解：×（誤り）

    解説：誤り。正しくは、本物らしいデータを作り出すのは生成器（Generator）である。識別器は与えられたデータが本物か生成物かを見分ける役割を担う。

33. 問33．拡散モデル（Diffusion Model）は文章の生成にのみ用いられ、画像を生成することはできない。

    正解：×（誤り）

    解説：誤り。正しくは、拡散モデルはノイズから段階的にデータを復元する仕組みで、画像などの生成に広く用いられている手法である。

34. 問34．一般に、エンコーダは生成結果を人間向けの文章に変換する部分、デコーダは入力を数値表現に変換する部分である。

    正解：×（誤り）

    解説：誤り。役割が逆である。正しくは、エンコーダが入力を内部の数値表現に変換し、デコーダがその内部表現をもとに出力を生成する。

35. 問35．生成AIが文章を処理するとき、文章を分割して得られる、モデルが扱う最小の処理単位を何というか。

    • ア．トークン
    • イ．ピクセル
    • ウ．エポック
    • エ．バイアス

    正解：ア．トークン

    解説：モデルが扱う処理単位はトークンである。ピクセルは画像の点、エポックは学習の周回数、バイアスはニューロンの調整項であり、いずれも分割された文章の単位ではない。

36. 問36．単語や文を、意味的な関係を反映した数値ベクトルとして表現する技術はどれか。

    • ア．活性化関数
    • イ．埋め込み（エンベディング）
    • ウ．正規化
    • エ．プーリング

    正解：イ．埋め込み（エンベディング）

    解説：意味を反映した数値ベクトルで語を表すのは埋め込み（エンベディング）である。活性化関数・正規化・プーリングはいずれもニューラルネットワークの計算処理であり、語の意味表現そのものではない。

37. 問37．アテンション機構を中核とし、多くの大規模言語モデルの土台となっているアーキテクチャはどれか。

    • ア．決定木
    • イ．畳み込みニューラルネットワーク（CNN）
    • ウ．Transformer
    • エ．サポートベクターマシン

    正解：ウ．Transformer

    解説：アテンションを中核とするアーキテクチャはTransformerである。決定木やサポートベクターマシンは古典的な機械学習手法、CNNは主に画像処理向けのニューラルネットワークである。

38. 問38．人間による出力の評価を報酬として用い、モデルの応答を人間の好みに合わせて調整する手法はどれか。

    • ア．データ拡張
    • イ．蒸留
    • ウ．量子化
    • エ．RLHF（人間のフィードバックによる強化学習）

    正解：エ．RLHF（人間のフィードバックによる強化学習）

    解説：人間の評価を報酬として応答を調整する手法はRLHFである。データ拡張は学習データの水増し、蒸留はモデルの小型化、量子化は計算の軽量化であり、いずれも目的が異なる。

39. 問39．大量のデータでモデルに汎用的な言語能力を先に獲得させる、追加学習の土台となる学習段階を何というか。

    • ア．事前学習（pre-training）
    • イ．デプロイ
    • ウ．アノテーション
    • エ．推論

    正解：ア．事前学習（pre-training）

    解説：汎用能力を先に獲得させる段階は事前学習（pre-training）である。デプロイは本番反映、アノテーションは正解付け、推論は学習済みモデルの実行を指し、いずれもこの段階とは異なる。

40. 問40．temperature（温度）パラメータを高く設定したときの、生成される出力の一般的な傾向はどれか。

    • ア．出力がより決定的・保守的になる
    • イ．出力がより多様・ランダムになる
    • ウ．学習が高速化する
    • エ．パラメータ数が増える

    正解：イ．出力がより多様・ランダムになる

    解説：temperatureを高くすると確率の低い語も選ばれやすくなり、出力は多様・ランダムになる。低くすると決定的・保守的な出力に近づく。温度は学習速度やパラメータ数を変えるものではない。

41. 問41．生成AIがハルシネーションを起こす主な理由として、最も適切なものはどれか。

    • ア．常にインターネットに接続しているため
    • イ．入力が暗号化されているため
    • ウ．もっともらしい語を確率的に生成する仕組みのため
    • エ．計算資源が不足しているため

    正解：ウ．もっともらしい語を確率的に生成する仕組みのため

    解説：ハルシネーションは、事実を照合せずもっともらしい語を確率的に生成する仕組みに起因する。通信の有無や暗号化、計算資源の不足が直接の原因ではない。

42. 問42．大規模なデータで学習され、翻訳・要約・分類など多様な下流タスクに応用できるモデルを何と呼ぶか。

    • ア．エキスパートシステム
    • イ．ルールベースモデル
    • ウ．識別モデル
    • エ．基盤モデル（ファウンデーションモデル）

    正解：エ．基盤モデル（ファウンデーションモデル）

    解説：多様なタスクへ応用できる汎用的な大規模モデルを基盤モデル（ファウンデーションモデル）と呼ぶ。エキスパートシステムやルールベースモデルは人手で規則を組む方式、識別モデルは分類に特化する。

43. 問43．アテンション（注意機構）の主な役割として、最も適切なものはどれか。

    • ア．入力内のどの要素に注目すべきかを重み付けする
    • イ．画像の解像度を高くする
    • ウ．データを暗号化する
    • エ．消費電力を抑える

    正解：ア．入力内のどの要素に注目すべきかを重み付けする

    解説：アテンションは、入力系列の中で各要素がどの要素に注目すべきかを重み付けし、文脈を捉える役割を担う。画像の解像度向上やデータの暗号化、電力削減を目的とした仕組みではない。

44. 問44．あるタスクで学習して得た知識を、別の関連するタスクの学習に活用する手法はどれか。

    • ア．過学習
    • イ．転移学習
    • ウ．次元削減
    • エ．クラスタリング

    正解：イ．転移学習

    解説：学習済みの知識を別タスクへ活用する手法は転移学習である。過学習は訓練データに適合しすぎる問題、次元削減とクラスタリングは主にデータの整理・分析に用いる手法である。

45. 問45．生成済みのトークンを次の予測の入力に使い、逐次的に文章を生成していく仕組みを何というか。

    • ア．一括生成
    • イ．並列探索
    • ウ．自己回帰
    • エ．教師なし学習

    正解：ウ．自己回帰

    解説：生成済みの出力を次の入力に用いて順に生成する仕組みを自己回帰という。一括生成は全体を同時に作る発想、並列探索や教師なし学習はこの逐次生成の仕組みとは異なる概念である。

46. 問46．入力データを圧縮した表現に符号化し、そこから元に近いデータを復元する過程を通じて新規データも生成できる生成モデルはどれか。

    • ア．決定木
    • イ．k近傍法
    • ウ．線形回帰
    • エ．VAE（変分オートエンコーダ）

    正解：エ．VAE（変分オートエンコーダ）

    解説：符号化と復元の過程で新規データを生成できるのはVAE（変分オートエンコーダ）である。決定木・k近傍法・線形回帰はいずれも分類や回帰に用いる手法で、データを生成する仕組みではない。