【ディープラーニングG検定対策】ディープラーニングの手法

G検定記事はこちら。
https://www.simulationroom999.com/blog/jdla-deep-learning-for-general-2020-1/

はじめに
ディープラーニングのテクニック
新しめのDNN
DQN
まとめ

はじめに

G検定シラバス「ディープラーニングの手法」の範囲の対策。
難易度は高。過去問、問題中でだけではフォローしきれない。
昨今のDNNを調べておく必要がある。

ディープラーニングのテクニック

ディープラーニングは様々なテクニックの集合体と言える。ここでは以下の代表的なテクニックを記載する。勾配消失の問題の最大の原因はシグモイド関数の導関数の最大値が0.25と小さいことであった。よって、このシグモイド関数を別の物に置き換えることでこの問題が回避できるのでないか？というアプローチの元、シグモイド関数

ディープラーニングのテクニックその2

ディープラーニングの有名どころのモデルとしてCNNについて記載する。画像データは座標情報(縦横)の2次元に、色情報を加えたもので、数値情報としては3次元になる。畳み込みニューラルネットワーク(Convolutional Neural Network：CNN)は座標情報の2次元データを入力するモデルとなる。

ディープラーニングのテクニックその3

ディープラーニングのもう一つの有名どころのモデルとしてRNNについて記載する。時間軸に対して何かパターンを持っているデータは時間軸に沿って入力される。時間情報を反映できるような仕組みとして、リカレントニューラルネットワーク(Recurrent Neural Network:RNN)が使用される。

ディープラーニングのテクニックその4

ディープラーニングの合わせ技のようなものが存在。それらについて記載する。教師あり学習、教師なし学習以外に強化学習と呼ばれる分野も存在する。強化学習とは「行動を学習する仕組み」になる。教師あり学習と混同し易いが、一連の行動系列の結果としての報酬を最大とするように学習する。明確な答えがあるわけではない。

以下を追加で把握しておく必要あり。

Softmax：出力を正規化して確率として解釈
tanh：双曲線正接関数
ReLU：正規化線形関数、ランプ関数
停留点：局所でも大域でもないが勾配が0になる点
勾配降下法：誤差の最小化が目的
誤差逆伝播：出力から入力へ連鎖率を利用して勾配降下
Adagrad：自動で学習率を調整(勾配を2乗)
RMSprop：Adagradの飽和欠点を指数関数移動平均
Adam：勾配の平均と分散をオンライン推定
ハイパーパラメータ：Unit数、層数などあらかじめ決めておく必要のあるパラメータ
グリッドサーチ：ハイパーパラメータを効率的に決定。しかし時間が掛かる。
ベイズ最適化、ランダムサーチ：上記のデメリットを解消

バッチ学習：学習データ全てを一括で
ミニバッチ学習：学習データからランダムに抽出
オンライン学習：学習データから１つずつ逐次的に

ヤン・ルカン：Facebookに召集。GANに対して「10年間で最も面白い」と発言
CNNの畳み込み層：特徴抽出用の層
CNNのプーリング層：情報を集約する層
$$特徴マップサイズ=\frac{入力サイズ+パディング×2-フィルター}{ストライド}+1$$
蒸留：大きなニューラルネットワークを小さなニューラルネットワークで学習。生徒モデル単独で学習するよりも効率的。
RNNの特徴：系列データを扱える。内部に閉路/ループ構造を持ち、過去の中間層を入力として使用する。

新しめのDNN

Attention：queryはkeyにより取得するmemoryを決定し、対応するValueを取得
Transformer：2017年Google。RNN,CNNの代わりにSelf-Attention Layerを使用。(単語同士の関係行列)
BERT：2018年Google。文脈を理解できる。bidirectional transformerという事前学習。自然言語処理タスクで最高記録。
XLNet：2019年6月 Arxivに投稿。BERTより20タスクで高性能。双方向の意味関係を持つ。

BigGAN：512×512の高解像度画像を条件付きで生成(史上最強のGAN)
VQ-VAE-2：2019年6月 DeepMind社が発表。HDサイズの画像を生成。
DCGAN：ランダムな入力から画像生成
Attention GAN：文章から画像生成