损失函数与反向传播

损失函数与反向传播

import torch

inputs = torch.tensor([1, 2, 3], dtype=float)
targets = torch.tensor([4, 5, 6], dtype=float)

loss = torch.nn.L1Loss(reduction='sum')
output = loss(inputs, targets)
print(output)

L1损失函数的用法，L1损失函数可以求绝对值之和或者是绝对值平均，默认是求绝对值平均。

loss_mse = torch.nn.MSELoss()
output_mse = loss_mse(inputs, targets)
print(output_mse)

MSE损失函数，该损失函数是平方差，ℓ(x,y)=L={l1​,…,lN​}⊤,ln​=(xn​−yn​)^2,默认情况下是求输入值和目标值之间平方差之和的平均值，当然也可以就求和

loss_cross = torch.nn.CrossEntropyLoss(reduction="mean")
x = torch.tensor([0.1, 0.5, 0.8])
x = torch.reshape(x, (1, 3))
targets = torch.tensor([1])
output = loss_cross(x, targets)
print(output)

 交叉熵损失函数公式如下；

值得注意的是，输入格式为（N，C，*），N为batchsize,C为类别数量，另外reduciton可以指定是平均还是求和对所有的batch的损失。另外，标签如上所示，我们这里的x输入是3维的，因此类别种类是3，然后我们的标签是1，那么在计算时标签会自动生成0，1，0 的向量，如果是2就生成0，0，1的one-hot形式，标签设为0也类似的。

 

反向传播之计算梯度：

my_model = Model()
loss_cross = nn.CrossEntropyLoss()
for data in dataloader:
    imgs, targets = data
    output = my_model(imgs)
    # print(imgs.shape)
    # print(output.shape)
    # print(targets.shape)
    loss = loss_cross(output, targets)
    print(loss)
    loss.backward()

首先，我们还是根据之前的交叉熵损失的计算，计算了交叉熵函数的损失，然后对损失loss进行一个backward，利用这一步我们就可以计算出，根据当前的mini-batch计算一个梯度，我们可以利用这个梯度执行一个权重更新即梯度下降