BERT与RoBERTa

发布时间:2021-06-23  栏目:人工智能, 机器翻译, 自然语言处理  评论:0 Comments

BERT(Bidirectional Encoder Representations from Transformers)近期提出之后,作为一个Word2Vec的替代者,其在NLP领域的11个方向大幅刷新了精度,可以说是近年来自残差网络最优突破性的一项技术了。论文的主要特点以下几点: 使用了Transfo...

深度学习调参有哪些技巧?

发布时间:2021-06-23  栏目:人工智能, 深度学习  评论:0 Comments

自己的总结: – 一般如果模型越深,那么针对同样的初始化方法,需要的学习率越小。因为模型越深训练时越容易梯度爆炸或者消失,所以相应的,学习率需要小一点 – 加入BN层或者dropout,可以使初始化方法和学习率不那么重要【实验验证...

深度学习中神经网络的权重初始化方法

发布时间:2021-06-23  栏目:人工智能, 深度学习  评论:0 Comments

参考: https://blog.csdn.net/u012328159/article/details/80025785 https://blog.csdn.net/xxy0118/article/details/84333635  

Depthwise Separable Conv深度可分离卷积

发布时间:2021-06-23  栏目:人工智能  评论:0 Comments

来自于MobileNet,卷积核尺寸越大,DSC的轻量化效果越明显。

激光雷达与摄像头融合

发布时间:2021-06-23  栏目:人工智能, 数据融合  评论:0 Comments

是激光雷达点云转到图像做融合好?还是图像转到激光雷达检测坐标系比较好? 激光雷达点云为什么要先转成俯视图再处理?

面试的众生相

发布时间:2021-06-23  栏目:感悟  评论:0 Comments

最近一两个月,集中面试了不少机会,感觉面试官形形色色,各种都有,总结如下: – 颐指气使型:上来就各种挑刺和不信任,觉得你这里简历写的不清楚,那里夸大了,自己理解力不行,还总是觉得你这不对哪里没讲清楚。比较奇葩,不过这种遇...

关于人工智能领域内卷的一些碎碎念

发布时间:2021-06-23  栏目:感悟  评论:0 Comments

大概是2015年左右,自己在网易课堂上看一些算法的课程,偶然看到吴恩达的机器学习课程,一下子就被吸引住了,觉得相对于软件,这才应该是最适合我的方向。 当时老婆怀着孕,我也没别的事,除了照顾她,其他就天天看吴恩达、Hinton等的视频课程和...

深度学习常用激活函数总结

发布时间:2021-06-12  栏目:人工智能, 机器视觉, 深度学习, 自然语言处理  评论:0 Comments

Sigmoid tanh ReLU LeakyReLU, PReLU(Parametric Relu), RReLU maxout Softsign   神经网络为什么需要激活函数:首先数据的分布绝大多数是非线性的,而一般神经网络的计算是线性的,引入激活函数,是在神经网络中引入非线性,强化网络...

不同任务的常用测评指标总结

发布时间:2021-06-06  栏目:人工智能, 图像处理, 机器视觉  评论:0 Comments

– 人体姿态检测: 标准的PCK指标(Percentage of Correct Keypoints),这个指标指出了检测结果关键点落在ground truth的标准化距离之内的比例。对于FLIC数据集来说,距离按躯干大小标准化,对于MPII数据集来说,距离按头的大小标准化

相册集

pix pix pix pix pix pix

关于自己

杨文龙,微软Principal Engineering Manager, 曾在各家公司担任影像技术资深总监、数据科学团队资深经理、ADAS算法总监、资深深度学习工程师等职位,热爱创新发明,专注于人工智能、深度学习、图像处理、机器学习、算法、自然语言处理及软件等领域,目前发明有国际专利19篇,中国专利28篇。

联系我

个人技术笔记

290125097@qq.com

2015 in Shanghai