torch KLDivLoss计算损失出现负数
Published on Aug. 22, 2023, 12:10 p.m.
KLDivLoss损失出现负数
- KL散度的input部分需要经过log的计算
- 分布结果相加需要为1
用于连续分布的距离度量；并且对离散采用的连续输出空间分布进行回归通常很有用；用label_smoothing就采用这个；另外知识蒸馏更是需要依赖它。
官方文档
https://pytorch.org/docs/stable/generated/torch.nn.KLDivLoss.html