Pytorch:自定义网络层实例-创新互联
自定义Autograd函数
对于浅层的网络，我们可以手动的书写前向传播和反向传播过程。但是当网络变得很大时，特别是在做深度学习时，网络结构变得复杂。前向传播和反向传播也随之变得复杂，手动书写这两个过程就会存在很大的困难。幸运地是在pytorch中存在了自动微分的包，可以用来解决该问题。在使用自动求导的时候，网络的前向传播会定义一个计算图（computational graph），图中的节点是张量（tensor），两个节点之间的边对应了两个张量之间变换关系的函数。有了计算图的存在，张量的梯度计算也变得容易了些。例如， x是一个张量，其属性 x.requires_grad = True，那么 x.grad就是一个保存这个张量x的梯度的一些标量值。
最基础的自动求导操作在底层就是作用在两个张量上。前向传播函数是从输入张量到输出张量的计算过程；反向传播是输入输出张量的梯度（一些标量）并输出输入张量的梯度（一些标量）。在pytorch中我们可以很容易地定义自己的自动求导操作，通过继承torch.autograd.Function并定义forward和backward函数。
forward(): 前向传播操作。可以输入任意多的参数，任意的python对象都可以。
backward():反向传播（梯度公式）。输出的梯度个数需要与所使用的张量个数保持一致，且返回的顺序也要对应起来。
# Inherit from Function
class LinearFunction(Function):
# Note that both forward and backward are @staticmethods
@staticmethod
# bias is an optional argument
def forward(ctx, input, weight, bias=None):
# ctx在这里类似self，ctx的属性可以在backward中调用
ctx.save_for_backward(input, weight, bias)
output = input.mm(weight.t())
if bias is not None:
output += bias.unsqueeze(0).expand_as(output)
return output
# This function has only a single output, so it gets only one gradient
@staticmethod
def backward(ctx, grad_output):
# This is a pattern that is very convenient - at the top of backward
# unpack saved_tensors and initialize all gradients w.r.t. inputs to
# None. Thanks to the fact that additional trailing Nones are
# ignored, the return statement is simple even when the function has
# optional inputs.
input, weight, bias = ctx.saved_tensors
grad_input = grad_weight = grad_bias = None
# These needs_input_grad checks are optional and there only to
# improve efficiency. If you want to make your code simpler, you can
# skip them. Returning gradients for inputs that don't require it is
# not an error.
if ctx.needs_input_grad[0]:
grad_input = grad_output.mm(weight)
if ctx.needs_input_grad[1]:
grad_weight = grad_output.t().mm(input)
if bias is not None and ctx.needs_input_grad[2]:
grad_bias = grad_output.sum(0).squeeze(0)
return grad_input, grad_weight, grad_bias
#调用自定义的自动求导函数
linear = LinearFunction.apply(*args) #前向传播
linear.backward()#反向传播
linear.grad_fn.apply(*args)#反向传播另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
网站名称：Pytorch:自定义网络层实例-创新互联
URL分享：http://6mz.cn/article/cdsocc.html