在神經(jīng)網(wǎng)絡(luò)中，激活函數(shù)決定來自給定輸入集的節(jié)點(diǎn)的輸出，其中非線性激活函數(shù)允許網(wǎng)絡(luò)復(fù)制復(fù)雜的非線性行為。正如絕大多數(shù)神經(jīng)網(wǎng)絡(luò)借助某種形式的梯度下降進(jìn)行優(yōu)化，激活函數(shù)需要是可微分（或者至少是幾乎完全可微分的）。此外，復(fù)雜的激活函數(shù)也許產(chǎn)生一些梯度消失或爆炸的問題。因此，神經(jīng)網(wǎng)絡(luò)傾向于部署若干個(gè)特定的激活函數(shù)（idenTIty、sigmoid、ReLU 及其變體）。

下面是 26 個(gè)激活函數(shù)的圖示及其一階導(dǎo)數(shù)，圖的右側(cè)是一些與神經(jīng)網(wǎng)絡(luò)相關(guān)的屬性。

激活函數(shù) Step 更傾向于理論而不是實(shí)際，它模仿了生物神經(jīng)元要么全有要么全無的屬性。它無法應(yīng)用于神經(jīng)網(wǎng)絡(luò)，因?yàn)槠鋵?dǎo)數(shù)是 0（除了零點(diǎn)導(dǎo)數(shù)無定義以外），這意味著基于梯度的優(yōu)化方法并不可行。

通過激活函數(shù) IdenTIty，節(jié)點(diǎn)的輸入等于輸出。它完美適合于潛在行為是線性（與線性回歸相似）的任務(wù)。當(dāng)存在非線性，單獨(dú)使用該激活函數(shù)是不夠的，但它依然可以在最終輸出節(jié)點(diǎn)上作為激活函數(shù)用于回歸任務(wù)。