PyTorch 导数应用的使用教程_Python

PyTorch 导数应用的使用教程

2020-09-01 00:05YXHPY Python

这篇文章主要介绍了PyTorch 导数应用的使用教程，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

前言

由于机器学习的基本思想就是找到一个函数去拟合样本数据分布,因此就涉及到了梯度去求最小值,在超平面我们又很难直接得到全局最优值,更没有通用性,因此我们就想办法让梯度沿着负方向下降,那么我们就能得到一个局部或全局的最优值了,因此导数就在机器学习中显得非常重要了

PyTorch 导数应用的使用教程

基本使用

tensor.backward()可以及自动将梯度累加积到tensor.grad上

									x = torch.ones(3,3)

									print(x.requires_grad)

									x.requires_grad_(True)

									print(x.requires_grad)

									y = x**2/(x-2)

									out = y.mean()

									print(x.grad)

									out.backward()

									print(x.grad)

False
True
None
tensor([[-0.3333, -0.3333, -0.3333],
[-0.3333, -0.3333, -0.3333],
[-0.3333, -0.3333, -0.3333]])

requires_grad 可以获取到tensor是否可导
requires_grad_() 可以设置tensor是否可导
grad 查看当前tensor导数

上面的公式很简单,程序含义

1/4 * (x**2) / (x-2)

求x的导数,基本公式在下方

PyTorch 导数应用的使用教程

注意点

我们使用.mean后得到的是标量,如果不是标量会报错

									x = torch.ones(3, requires_grad=True)

									y = x * 2

									y = y * 2

									print(y)

1	`tensor([4.,` `4.,` `4.], grad_fn=<MulBackward0>)`

1 2	`y.backward()` `print(x.grad)`

报错

RuntimeError: grad can be implicitly created only for scalar outputs

									v = torch.tensor([0.1, 1.0, 0.0001], dtype=torch.float)

									y.backward()

									print(x.grad)

1	`tensor([4.0000e-01,` `4.0000e+00,` `4.0000e-04])`

no_grad()作用域

如果想要某部分程序不可导那么我们可以使用这个

									x = torch.ones(3, requires_grad=True)

									y = x * 2

									print(y.requires_grad)

									with torch.no_grad():

									 y = y * 2

									 print(y.requires_grad)