记一次nan的问题

字数统计: 409字   |   阅读时长: 1分

yolact是一个实时的实例分割算法，是目前分割速度最快的算法，而且生成mask的质量也很高。论文上说该算法还可以做目标检查，而且速度和准确度都能够达到(接近)YOLOv3的水平，于是就尝试了一下。将算法该成Paddle上的代码后，训练到5000多个step的时候，conf_loss突然就变成了nan。

以前遇到nan的问题都是因为学习率过大，而且是在训练初期发生的。我这里的学习率用的是0.001，应该不是学习率的问题，排除。

由于采用的是动态图编写的代码，因此可以通过一步一步的跟踪代码，来诊断错误。从loss一步步向上查找问题，发现target_logits中存在非常小的数据（负数），如下面的图：

loss代码

target_logits

target_labels

conf_loss

这个问题是由于logits太负了，导致其指数接近与0引起的。因此，首先想到的就是对logits进行裁剪，裁剪到[-10,10]之间，解决了这个问题。

注:对于log函数，如何参数是一个负数，结果中就会出现nan，而如果参数是0，结果中就会出现inf。

不过后来训练时又出现了其他nan的问题，详细观察训练记录发现，损失会出现突然变大的情况，怀疑是异常样本引起的。于是，便记录最近100个损失，如果当前的损失大于这100个的平均值的10倍，则认为是异常数据，不训练该数据。

赏

非常感谢,我会继续努力的！

支付宝
微信

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

真正使人进步的,是不断总结。