说明
1、线性整流函数,又称为修正性线性单元,ReLU是一个分段函数,其公式为:f(x)=max(0,x)。
2、比Sigmoid函数收敛速度更快。输出以0为中心。由于饱和性产生的梯度消失。
实例
import numpy as np import matplotlib.pyplot as plot def relu(x): return np.maximum(0, x) if __name__ == "__main__": a = np.arange(-20, 20, 0.1) b = relu(a) plot.plot(a, b, label="ReLU", color="red") plot.legend() plot.grid() plot.show()
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试