开发 / 自然语言 · 9月 29, 2021 0

torch KLDivLoss计算损失出现负数

内容纲要

KLDivLoss损失出现负数

  1. KL散度的input部分需要经过log的计算
  2. 分布结果相加需要为1

用于连续分布的距离度量;并且对离散采用的连续输出空间分布进行回归通常很有用;用label_smoothing就采用这个;另外知识蒸馏更是需要依赖它。

官方文档

https://pytorch.org/docs/stable/generated/torch.nn.KLDivLoss.html

%d 博主赞过: