操练代码之激活函数

最近手生，书看得多，但还是要操练操练，第一波，使用pytorch，学习AI神经网络的东东,《pytorch建模与应用》。

一，代码
高端的框架，往往只需要简单的代码~

import torch
import numpy as np
import matplotlib.pyplot as plt


def sigmoid(x):
    return 1. / (1. + np.exp(-x))

def tanh(x):
    return (np.exp(x) - np.exp(-x)) / (np.exp(x) + np.exp(-x))

def relu(x):
    return np.maximum(0,x)

def leaky_relu(x):
    return np.array([i if i > 0 else 0.01*i for i in x])

def lea_relu_diff(x):
    return np.where(x > 0, 1, 0.01)


def plot_sigmoid():
    x = np.arange(-10, 10, 0.1)
    # y = sigmoid(x)
    # y = tanh(x)
    # y = relu(x)
    y = leaky_relu(x)
    plt.plot(x, y)
    plt.show()

if __name__ == '__main__':
    plot_sigmoid()

二，输出

2024-08-18 22_28_10-悬浮球.png