指代消解

发布时间:2021-10-27  栏目:AI应用领域, 人工智能, 智能问答, 机器翻译, 自然语言处理  评论:0 Comments

什么是指代? 一般在语言学及我们日常用语当中,在下文采用简称或代称来代替上文已经出现的某一词语,语言学中把这种情况称为“指代现象”,也即是指代。 指代现象能够避免同一词语重复出现所造成的语句臃肿、赘述等问题;但也因为这种省略造成“指...

时序卷积网络(Temporal convolutional network, TCN)

发布时间:2021-08-18  栏目:人工智能, 图像处理, 机器翻译, 机器视觉, 自然语言处理  评论:0 Comments

时序卷积网络(Temporal convolutional network, TCN)与多种RNN结构相对比,发现在多种任务上TCN都能达到甚至超过RNN模型。 -因果卷积可以用上图直观表示。 即对于上一层t时刻的值,只依赖于下一层t时刻及其之前的值。和传统的卷积神经网络的...

归一化方法

发布时间:2021-07-29  栏目:人工智能, 机器视觉, 深度学习, 自然语言处理  评论:0 Comments

– 批量归一化(Batch Normalization/BN) – 层归一化(Layer Normalization/LN) – 实例归一化(Instance Normalization/IN) – 组归一化(Group Normalization/GN) – BRN (Batch ReNormalization)   &nb...

BERT与RoBERTa

发布时间:2021-06-23  栏目:人工智能, 机器翻译, 自然语言处理  评论:0 Comments

BERT(Bidirectional Encoder Representations from Transformers)近期提出之后,作为一个Word2Vec的替代者,其在NLP领域的11个方向大幅刷新了精度,可以说是近年来自残差网络最优突破性的一项技术了。论文的主要特点以下几点: 使用了Transfo...

深度学习常用激活函数总结

发布时间:2021-06-12  栏目:人工智能, 机器视觉, 深度学习, 自然语言处理  评论:0 Comments

Sigmoid tanh ReLU LeakyReLU, PReLU(Parametric Relu), RReLU maxout Softsign   神经网络为什么需要激活函数:首先数据的分布绝大多数是非线性的,而一般神经网络的计算是线性的,引入激活函数,是在神经网络中引入非线性,强化网络...

MDETR(Modulated Detection for End-to-End Multi-Modal Understanding)详解

发布时间:2021-05-16  栏目:人工智能, 图像处理, 机器翻译, 机器视觉, 深度学习, 自然语言处理  评论:0 Comments

MDETR – Modulated Detection for End-to-End Multi-Modal Understanding   介绍MDETR之前需要先介绍DETR(DEtection TRansformer), DETR是一种direct set prediction方法,通过剔除了一些加入先验的方法如spatial anchors和non-ma...

指称表达理解(Referring Expression Comprehension)

发布时间:2021-05-14  栏目:人工智能, 机器视觉, 自然语言处理  评论:0 Comments

从 17 年开始,我们就陆续看到一些新的 vision-language 的任务被提了出来,比如被研究比较多的 referring expression comprehension,也叫做 visual grounding,虽然 14 年就有类似的概念被提出,但基本上从 17 年开始相关的方法才多了起来。在...

密码保护:不同任务的Loss Function设计总结

发布时间:2021-05-14  栏目:人工智能, 图像处理, 机器视觉, 深度学习, 自然语言处理  评论:要查看留言请输入您的密码。

深度学习: – 分类:交叉熵损失、BCE Loss(Faster RCNN)   – 目标检测: 交叉熵损失(softmax\logistic) Focal Loss、squared error loss (Yolo V3)     Smooth L1 Loss (Faster RCNN) IOU loss 系数*(相似度[预测框和...

Image-Phrase Grounding

发布时间:2021-05-14  栏目:人工智能, 图像处理, 自然语言处理  评论:0 Comments

Image-Phrase Grounding 是利用指定描述的语句进行标定图片中所显示的物体。它比较类似于image-caption, VQA(Visual Question Answering)这样的图像与文本语义信息相结合的工作,近几年开始逐渐受到人们的关注。

【转】自然语言处理中的Encoder-Decoder模型,基本Sequence to Sequence模型

发布时间:2017-07-07  栏目:机器翻译, 自然语言处理  评论:0 Comments

Encoder-Decoder(编码-解码)是深度学习中非常常见的一个模型框架,比如无监督算法的auto-encoding就是用编码-解码的结构设计并训练的;比如这两年比较热的image caption的应用,就是CNN-RNN的编码-解码框架;再比如神经网络机器翻译NMT模型,...

Soft Attention

发布时间:2017-05-22  栏目:深度学习, 自然语言处理  评论:0 Comments

Soft Attention Model,所谓Soft,意思是在求注意力分配概率分布的时候,对于输入句子X中任意一个单词都给出个概率,是个概率分布。那么相对Soft,就有相应的Hard Attention Model,提出Hard版本就是一种模型创新。既然Soft是给每个单词都赋予一...

【转】知识图谱的构建流程

发布时间:2017-03-17  栏目:自然语言处理  评论:0 Comments

知识图谱是实体和关系构成的有向图,图中的节点代表实体,边代表实体之间的语义关系。知识图谱中最基本的表现形式是三元组。目前的知识图谱一般规模较大,但是其中绝大多数的知识图谱都是不完备的,因为有大量的知识无法在其中有效地表达。知识...

gensim做主题模型

发布时间:2016-08-10  栏目:自然语言处理  评论:0 Comments

作为Python的一个库,gensim给了文本主题模型足够的方便,像他自己的介绍一样,topic modelling for humans 具体的tutorial可以参看他的官方网页,当然是全英文的,http://radimrehurek.com/gensim/tutorial.html

【转】基于大规模语料的新词发现算法

发布时间:2016-07-09  栏目:自然语言处理  评论:0 Comments

对中文资料进行自然语言处理时,我们会遇到很多其他语言不会有的困难,例如分词——汉语的词与词之间没有空格,那计算机怎么才知道“已结婚的和尚未结婚的”究竟是“已/结婚/的/和/尚未/结婚/的”,还是“已/结婚/的/和尚/未/结婚/的”呢? ...

log-likelihood ratio (LLR)

发布时间:2016-06-29  栏目:自然语言处理  评论:0 Comments

The ratio of two likelihood functions. In statistics, a likelihood ratio test is a statistical test used to compare the goodness of fit of two models, one of which (the null model) is a special case of the other (the alternativ...

Latent Semantic Analysis (LSA)

发布时间:2016-06-16  栏目:机器学习, 自然语言处理  评论:0 Comments

Latent Semantic Analysis 模型,隐性语义分析,也就是我们常说的LSA模型。后面还有他的兄弟PLSA和LDA模型,这个我们后面再说。这几个都是NLP中比较经典的模型!学习这个模型,主要总结到了三个方面:LSA模型可以应用在哪儿?LSA的理论部分,以...

相册集

pix pix pix pix pix pix

关于自己

杨文龙,微软Principal Engineering Manager, 曾在各家公司担任影像技术资深总监、数据科学团队资深经理、ADAS算法总监、资深深度学习工程师等职位,热爱创新发明,专注于人工智能、深度学习、图像处理、机器学习、算法、自然语言处理及软件等领域,目前发明有国际专利19篇,中国专利28篇。

联系我

个人技术笔记

290125097@qq.com

2015 in Shanghai