AlexNet小簡介(3) — Local Response Normalization(LRN)

如同標題所述，這個概念最早是在AlexNet提出，其目的是為了增加訓練的效率，以及提高效度(準確率)。這是一種借鏡人類神經元運作的方式，在被活化的神經元，除了傳遞訊息出去，還會抑制相鄰的神經元。一來一往，傳遞出去的訊息減少了雜訊的干擾，相對被放大。在神經網路裡面，神經單元抑制的可能是同一層的相鄰神經單元，也可以是前後層與之有關連的神經元。這個方式叫側抑制。

公式如下：

1. a為卷積層(上一層神經網路)的輸出結果(a,b,c,d)四維矩陣。i為此輸出所對應的神經元位置，x、y為輸入、輸出。
2. N為通道數(channel)。
3. n為深度，n/2為深度半徑(depth radius)。
4. k為誤差。
5. α、β為常數。
6. 在公式裡通常n/2、k、α、β為事先設定，在AlexNet文章中設定n=5，K=2，α=10^(-4)，β=0.75。(沒有理由，是調整後的結果)
7. 可以把a是為d個3為矩陣，沿著通道方向相加。則整個式子看起來像是把特定點萃取的特徵除以「周遭特徵的平方和，加上誤差後再乘以次方」的值。

後來在ResNet中被認為這個概念對於提升準確度的幫助其實有限，現在已經很少看到模型的文章引用這個概念了。