脚本之家,脚本语言编程技术及教程分享平台!
分类导航

Python|VBS|Ruby|Lua|perl|VBA|Golang|PowerShell|Erlang|autoit|Dos|bat|

服务器之家 - 脚本之家 - Python - TensorFlow的自动求导原理分析

TensorFlow的自动求导原理分析

2021-11-14 10:36qq_25094489 Python

这篇文章主要介绍了TensorFlow的自动求导原理分析,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

原理:

tensorflow使用的求导方法称为自动微分(automatic differentiation),它既不是符号求导也不是数值求导,而类似于将两者结合的产物。

最基本的原理就是链式法则,关键思想是在基本操作(op)的水平上应用符号求导,并保持中间结果(grad)

基本操作的符号求导定义在\tensorflow\python\ops\math_grad.py文件中,这个文件中的所有函数都用registergradient装饰器包装了起来,这些函数都接受两个参数op和grad,参数op是操作,第二个参数是grad是之前的梯度。

链式求导代码:

TensorFlow的自动求导原理分析

举个例子:

TensorFlow的自动求导原理分析

TensorFlow的自动求导原理分析

TensorFlow的自动求导原理分析

TensorFlow的自动求导原理分析

TensorFlow的自动求导原理分析

TensorFlow的自动求导原理分析

TensorFlow的自动求导原理分析

TensorFlow的自动求导原理分析

TensorFlow的自动求导原理分析

TensorFlow的自动求导原理分析

TensorFlow的自动求导原理分析

TensorFlow的自动求导原理分析

TensorFlow的自动求导原理分析

补充:聊聊tensorflow自动求导机制

自动求导机制

在即时执行模式下,tensorflow引入tf.gradienttape()这个“求导记录器”来实现自动求导。

计算函数y(x)=x^2在x = 3时的导数:

?
1
2
3
4
5
6
7
8
9
10
11
import tensorflow as tf
#定义变量
x = tf.variable(initial_value = 3.)
 
#在tf.gradienttape()的上下文内,所有计算步骤都会被记录以用于求导
with tf.gradienttape() as tape:
    #y = x^2
    y = tf.square(x)
#计算y关于x的导数(斜率,梯度)
y_grad = tape.gradient(y,x)
print([y,y_grad])

输出:

[<tf.tensor: shape=(), dtype=float32, numpy=9.0>, <tf.tensor: shape=(), dtype=float32, numpy=6.0>]

以上为个人经验,希望能给大家一个参考,也希望大家多多支持服务器之家。

原文链接:https://blog.csdn.net/qq_25094489/article/details/79390484

延伸 · 阅读

精彩推荐