常用的激活函数

1.阶跃函数

，值域{0,1}

def step_function(x):
    return np.array(x>0,dtype=np.int)

2.sigmoid函数

，值域(0,1)

def sigmoid(x):
    return 1/(1+np.exp(-x))

3.relu函数

，值域[0，+∞）

def relu(x):
    return np.maximum(0,x)

4.leaky relu函数

，值域R

def leaky_relu(x):
    value = [i if i  >= 0 else 0.01*i for i in x]
    return np.array(value)

5.tanh函数

，值域(-1,1)

def tanh(x):
    e_a = np.exp(-2*x)
    y=(1-e_a)/(1+e_a)
    return y

 

6.softmax函数

，值域[0,1]

def softmax(x):
    e_a = np.exp(x)
    sum_e_a = np.sum(e_a)
    y=e_a/sum_e_a
    return y
#或者，考虑可能出现内存溢出问题，减去一个常数
def softmax(x):
    c=np.max(x)
    e_a = np.exp(x-c)
    sum_e_a = np.sum(e_a)
    y=e_a/sum_e_a
    return y

7.画图程序

x=np.arange(-5,5,0.1)
y=softmax(x)#可替换为其它函数
plt.plot(x, y)
plt.ylim(-1.1, 1.1)
plt.show()