G検定　⑧ DL応用②強化・生成・転移・解釈・軽量化

ディープラーニングの発展的な応用技術を学ぶ分野です。強化学習（Q学習・DQN・AlphaGo等）、生成モデル（GAN・VAE・拡散モデル）、転移学習やファインチューニング、モデルの解釈性（説明可能なAI）、エッジ向けの軽量化技術などが幅広く問われます。それぞれの技術が「何を目的としているか」を整理することが攻略の鍵です。生成AIなど最新トピックも含まれるため、概念と代表手法をセットで押さえておきましょう。

この分野の問題139問を、選択肢・正解・解説つきで掲載しています。まず自分で解答を考えてから「正解と解説を見る」を開いて答え合わせをしてください。

クイズモードで挑戦 →

第690問ディープラーニングと強化学習を組み合わせた手法の総称を何と呼ぶか。

A教師あり強化学習
B深層強化学習
C自己回帰強化学習
Dマルチタスク強化学習

正解と解説を見る

正解：B．深層強化学習

ディープラーニングの高い表現力と強化学習の探索能力を組み合わせた手法です。

G検定 ⑧ DL応用②強化・生成・転移・解釈・軽量化

第690問ディープラーニングと強化学習を組み合わせた手法の総称を何と呼ぶか。

第691問2013年にDeepMind社が発表し深層強化学習ブームの火付け役となった代表的な手法はどれか。

第692問DQNが対象とした家庭用ゲーム機はどれか。

第693問DQNのニューラルネットワークに入力されるデータは何か。

第694問DQNにおいてニューラルネットワークが出力する値は何か。

第695問DQNの学習を安定させるために過去のゲームプレイ経験をメモリに保存しランダムに取り出して学習する仕組みはどれか。

第696問DQNにおいて目標となるQ値を計算するためのネットワークを一定期間固定しておく手法はどれか。

第697問Q学習で発生しやすいQ値の過大評価を防ぐために提案されたDQNの改良手法はどれか。

第698問状態の価値と各行動の相対的な良さ（アドバンテージ）を別々に計算し最後に足し合わせるDQNの改良手法はどれか。

第699問Q値を単なる期待値の平均としてではなく得られる報酬の確率分布として予測するDQNの改良手法はどれか。

第700問探索を促すためにネットワークの重みに意図的にノイズを加えるDQNの拡張手法はどれか。

第701問DQNの代表的な6つの拡張手法を統合し極めて難易度の高いゲームでも高いパフォーマンスを発揮したモデルはどれか。

第702問2016年に世界トップレベルのプロ棋士に勝利し世界中に衝撃を与えたDeepMind社の囲碁AIはどれか。

第703問AlphaGoが盤面の評価と手の選択に用いた探索アルゴリズムはどれか。

第704問初期のAlphaGoの学習プロセスにおいて最初に行われた学習アプローチはどれか。

第705問人間の教師データを一切使わずルールだけを与えられた状態から自己対戦のみでAlphaGoを凌駕したモデルはどれか。

第706問囲碁だけでなく将棋やチェスにも対応できるよう一般化されそれぞれの専用AIをも打ち破ったモデルはどれか。

第707問2018年にOpenAIが発表しマルチプレイヤーの対戦ゲームDota 2において世界トッププロを倒したAIはどれか。

第708問OpenAI Fiveのように複数のエージェントが同一環境内で協力や競争を行いながら学習する枠組みを何というか。

第709問OpenAI Fiveの学習アルゴリズムとして採用された強化学習の手法はどれか。

第710問OpenAI Fiveが世界トッププレイヤーに勝利するまでに学習したゲーム内の時間は合計でどれくらいに相当するか。

第711問DeepMind社が2019年に発表しリアルタイムストラテジーゲームのStarCraft 2でプロに勝利したAIはどれか。

第712問AlphaStarが扱ったStarCraft 2などのRTSゲームがボードゲームよりもAIにとって難しいとされる理由はどれか。

第713問AlphaStarのネットワーク構造に組み込まれているアーキテクチャの組み合わせとして正しいものはどれか。

第714問ゲームAIとは異なり実世界のロボット制御などで必要となるハンドルの角度やモーターの出力などの行動形式を何と呼ぶか。

第715問強化学習において状態や行動の数が指数関数的に増大し計算や学習が困難になる問題を何と呼ぶか。

第716問エージェントが最終的な目標を達成した時だけでなく中間的な状態にも報酬を与えて学習を導く手法を何と呼ぶか。

第717問強化学習におけるサンプル効率が低いという課題は何を意味しているか。

第718問ロボットを実環境で直接学習させる際に生じる安全性の問題とは具体的にどのようなものか。

第719問探索によるデータ収集を行わず事前に用意された固定のデータセットのみを使って強化学習を行う手法を何と呼ぶか。

第720問人間の操作記録などの手本データを用意しエージェントにその行動を真似させるように学習させる手法を何と呼ぶか。

第721問実世界のロボット学習のリスクやコストを下げるためによく利用されるコンピュータ上の仮想環境を何と呼ぶか。

第722問シミュレータで学習させたモデルをそのまま実世界のロボットの制御に適用するアプローチを何と呼ぶか。

第723問Sim2Realにおいてシミュレータ内の物理法則や環境と実世界との間に存在する埋めがたい差異を何と呼ぶか。

第724問リアリティギャップを埋めるためシミュレータ内の質量や摩擦などのパラメータをランダムに変更して学習させる手法はどれか。

第725問2019年にOpenAIがドメインランダマイゼーションを用いてロボットハンドで成功させた複雑なタスクはどれか。

第726問既存の基本的な制御システムをベースとし強化学習がその制御のズレや誤差のみを補正するように学習する手法はどれか。

第727問エージェントが自身の行動によって環境がどう変化するかを予測する内部モデルを学習し計画に活用する枠組みを何というか。

第728問ディープラーニングにおいて画像や文章を分類するのではなく新しいデータを生み出すタスクを総称して何と呼ぶか。

第729問2014年にIan Goodfellowらによって提案された2つのネットワークを競い合わせるように学習させる生成モデルはどれか。

第730問GANを構成する2つのネットワークのうち乱数から本物そっくりの偽物データを作り出そうとする側を何と呼ぶか。

第731問GANを構成する2つのネットワークのうち入力されたデータが本物かジェネレータが作った偽物かを見破る役割を持つ側を何と呼ぶか。

第732問GANにおけるジェネレータとディスクリミネータの学習関係を分かりやすく表現した有名な例えはどれか。

第733問GANのアーキテクチャに畳み込みニューラルネットワークを組み込み高解像度で安定した画像生成を可能にしたモデルはどれか。

第734問白黒画像とカラー画像のように変換前と変換後のペアとなる画像データセットを用いて画像間の変換ルールを学習するGANはどれか。

第735問Pix2Pixの弱点であるペア画像を用意する手間を解決しペアになっていないデータ群同士から画像変換を学習できるモデルはどれか。

第736問データに徐々にノイズを加えていく過程とノイズから元のデータを復元する過程を学習し高品質な画像を生成する手法はどれか。

第737問Diffusion Modelにおいて元の画像データに少しずつガウスノイズを足していき最終的に完全なノイズにするプロセスを何と呼ぶか。

第738問Diffusion Modelにおいて完全なノイズから少しずつノイズを除去していき最終的にクリアな画像を生成するプロセスを何と呼ぶか。

第739問Diffusion Modelが生成AIの主流としてGANに代わり広く使われるようになった最大の理由はどれか。

第740問複数の異なる視点から撮影された2D画像を入力としそこから3Dシーンを構築して自由な視点の画像を生成できる技術はどれか。

第741問NeRFのネットワークが入力として受け取る情報は画像のピクセルデータ以外に何が必要か。

第742問NeRFのネットワークが3次元空間の特定の座標に対して出力する情報は何か。

第743問大量のデータと計算資源を用いてあらかじめ汎用的な特徴やパターンを学習させておいたモデルを何と呼ぶか。

第744問画像認識の分野で学習済みモデルを作るためによく利用される1000クラス以上の物体がラベル付けされた大規模なデータセットはどれか。

第745問学習済みモデルを活用する最大のメリットは何か。

第746問ある領域で学習した知識を別の関連するタスクの学習に適用し効率よく学習を進める手法の総称を何というか。

第747問一般的な転移学習において新しく用意したデータを使って重みが学習・更新されるネットワークの部分はどこか。

第748問転移学習において出力層以外の事前学習されたネットワークの層はどのような役割として機能するか。

第749問学習済みモデルのネットワーク全体または複数の層の重みを新しいデータセットで追加学習させ微調整する手法を何というか。

第750問ファインチューニングを行う際すでに獲得している有用な特徴量を壊さないために設定する学習パラメータの工夫として適切なものはどれか。

第751問Sim2Realの課題であるリアリティギャップの具体例として当てはまらないものはどれか。

第752問DQNがQ学習にディープラーニングを組み合わせた際に入力として画像を用いることで解決した問題は何か。

第753問マルチエージェント強化学習が単一エージェントよりも難易度が高いとされる理由はどれか。

第754問StarCraft 2のようなRTSゲームにおいてAIが学習しなければならない特徴的な要素はどれか。

第755問連続値制御において行動の選択肢が無数に存在する場合Q学習のような価値に基づく手法に代わってよく用いられる手法はどれか。

第756問自動運転車の制御において「アクセルを踏む強さ」と「ハンドルの角度」は強化学習において何に該当するか。

第757問強化学習において報酬ハッキングを防ぐための対策として重要になるものはどれか。

第758問シミュレータを用いた強化学習の利点として間違っているものはどれか。

第759問ドメインランダマイゼーションにおいて意図的にランダム化されるパラメータの例として適切なものはどれか。

第760問GANの学習が進み理想的な状態に達したときディスクリミネータが出力する「本物か偽物かの確率」はどの値に近づくか。

第761問Pix2Pixにおいて損失関数にL1ノルムを追加する目的は何か。

第762問CycleGANのネットワーク構造にはいくつのジェネレータとディスクリミネータが含まれているか。

第763問CycleGANにおいてAからBに変換した画像を再びAに戻した際元の画像と一致するべきであるという制約を何と呼ぶか。

第764問拡散モデルにおける「ノイズ」とは具体的にどのような処理を指すか。

第765問拡散モデルにおいて画像生成をコントロールするためにテキスト（プロンプト）などの条件を追加で入力する技術を何というか。

第766問NeRFが2D画像から3Dシーンを復元する際に学習に用いる損失関数のベースとなる考え方はどれか。

第767問転移学習とファインチューニングの使い分けの基準として手元の新しい学習データが非常に少ない場合に適しているのはどちらか。

第768問ファインチューニングにおいて事前学習済みのモデルの重みを初期値としてそのまま使うのではなく特定の層だけを固定しておくテクニックを何というか。

G検定　⑧ DL応用②強化・生成・転移・解釈・軽量化