C×Labo

主にプログラミング関係について書いていきます。

誤差逆伝播法

_________________________________________________________________________________________
【目次】

_________________________________________________________________________________________

誤差逆伝播法とは?

深層学習で使われる学習のアルゴリズム
学習データと多層パーセプトロンの出力が一致するように各層の間の結合荷重を
修正するという学習法。

順伝播と逆伝播の違い

順伝播は非線形計算であるのに対し、
逆伝播は線形計算である。

勾配消失問題

ニューラルネットワークの層が深くなるにつれて、学習する際に勾配が0に
近くなり、浅い層で誤差が消失する問題のこと。
これの回避方法は自己符号化器についての記事に書きます。