Batch Normalizat​ionのアルゴリズム​に関する質問

こんにちは

下記のリンクの中にBatch Normalizationの計算方法を案内していますが： 【 Batch Normalizationの計算 】

アルゴリズムの中に "学習されたパラメータ γ β" があります。 これで「卵が先か鶏が先か」の問題が生じます。 Batch Normalizationはパラメーター γ, β を学習するために行うのですが、 どうして、 Batch Normalization がまだ完成していない＝計算中に、 γ, β が利用されるのでしょうか。

ご教授お願い致します。

Answer 1

[michio]

γ, β はバッチ正規化層のパラメータとして、ネットワークの他の部分と同時に学習していくもの捉えると、計算中に利用されるもの自然な気がしますがいかがでしょうか？

参考

• Understanding the backward pass through Batch Normalization Layer
• バッチ正規化アルゴリズム