Caffe模型训练数据准备准则

发布时间:2018-03-01  栏目:Caffe, 深度学习  评论:0 Comments

最近在Caffe上面训练分类数据,使用网上的共有数据集训练下来效果不错,但是同样的模型,使用自己采集的数据却有问题,表现在如下方面:
1. 收敛很快,之后便accuracy=1了
2. 使用caffe的批处理测试,accuracy=1,loss=0,但是单独测试单证图片,很多准确率很差

分析如下:
总的数据很少,只有七八千张,而且每类图片比较相似,所以收敛快很正常
第二个问题比较诡异,但是由于使用别的数据训练没有问题,说明程序和脚本没有问题,问题出在训练数据上

对训练数据分析后,发现以下问题及纠正措施:
1. 有些类别里面的训练数据图片特征不明显,针对这种情况,将类别进一步细分,由8类变为10类,使模型能够更好的收敛描述每一类
2. 将每一类里面其他特征不明显,又不能归到其他类别的图片删除 – 特别是模型比较小,描述力不够时,更加需要这样
3. 训练出来的模型,只选取accuracy小于1或者刚到1的模型使用,因为发现后面的accuracy=1的模型已经跑飞了,不知道怎么回事,不知道是不是caffe的bug, 效果好很差,基本不准。因为之前模型的训练终止条件是按照迭代次数来的

留下评论

You must be logged in to post a comment.

相册集

pix pix pix pix pix pix

关于自己

杨文龙,微软Principal Engineering Manager, 曾在各家公司担任影像技术资深总监、数据科学团队资深经理、ADAS算法总监、资深深度学习工程师等职位,热爱创新发明,专注于人工智能、深度学习、图像处理、机器学习、算法、自然语言处理及软件等领域,目前发明有国际专利19篇,中国专利28篇。

联系我

个人技术笔记

welonshen@gmail.com

2015 in Shanghai