深度学习Tips

总结一些深度学习中需要注意的点,可以提高效率,事半功倍。

代码&文件

  1. 建立合适的文件夹和包,命名规范统一。
  2. 想好数据结构:数据怎么存放才最有利于实验的进行?

数据

  1. 拿到数据先进行 data exporation, 了解数据,看看类别是否均衡。
  2. 清洗数据,排除 nan 以及空值,异常值。
  3. 使用多线程处理,如 Pytorch 的 Dataset,以及 matlab 的 parfor。
  4. 数据下载慢,复制链接到迅雷下载,必要时可以开通会员,下载速度杠杠的;或者找国内百度网盘;或者开小飞机下载。
  5. 使用数据归一化。
  6. 使用数据增强。
  7. 数据量要大,个人感觉应该上万。

训练

  1. 训练之前先在小数据集上跑通,把bug清理一遍。
  2. 使用 early stopping,表现不好就停止。
  3. 每隔几个 epoch 可以保存下可视化结果。
  4. 运行程序用 nohup 并将日志输出到文件夹,训练过程可追溯。
  5. 每跑一个实验可以起个名字并单独建立文件夹保存日志、数据、结果。

调参

  1. 先选择一个合适的学习率。
  2. 训练过程中逐步降低学习率。
  3. 使用 dropout