分词(Word Segmentation)

发布时间:2016-01-31  栏目:机器学习, 机器翻译, 自然语言处理  评论:0 Comments

对于中文文本而言,因为词与词之间没有明显的切分标志,所以首先需要对中文文本进行分词.现在的分词方法虽然有多种,但归纳起来不外乎两种:一类是机械式分词法,一般以分词词典为依据,通过文档中的汉字串和词表中的词逐一匹配来完成词的切分...

知识图谱构建(Knowledge Graph Construction)

发布时间:2016-01-31  栏目:自然语言处理  评论:0 Comments

长期以来,Google 搜索的进化主要着眼于改善排名,为用户提供最有价值的网页。但搜索的形式并没有太大变化,输入关键词-页面显示十个结果,结果由标题、链接以及关键词相关的简短内文片段组成。虽然现在搜索页面也会插入图片等结果,不过搜索结...

自动摘要(Automatic summarization)

发布时间:2016-01-31  栏目:机器学习, 自然语言处理  评论:0 Comments

仅仅依靠统计词频,就能找出关键词和相似文章。虽然它们算不上效果最好的方法,但肯定是最简便易行的方法。 今天,依然继续这个主题。讨论如何通过词频,对文章进行自动摘要(Automatic summarization)。 如果能从3000字的文章,提炼出150字的...

信息抽取(Information Extraction)

发布时间:2016-01-31  栏目:自然语言处理  评论:0 Comments

信息抽取(Information Extraction: IE)是把文本里包含的信息进行结构化处理,变成表格一样的组织形式。输入信息抽取系统的是原始文本,输出的是固定格式的信息点。信息点从各种各样的文档中被抽取出来,然后以统一的形式集成在一起。这就是信...

文本分类

发布时间:2016-01-31  栏目:机器学习, 自然语言处理  评论:0 Comments

机器学习的有概率分类器(probabilistic) ,贝叶斯推理网络(bayesian inference networks) , 决策树分类器(decision tree) ,决策规则分类器(decision rule) ,基于回归的线性最小二乘llsf(regression based on linearleast squares fit ) , 符号规...

机器学习相关概念总结

发布时间:2016-01-31  栏目:机器学习  评论:0 Comments

准确率(accuracy) = 预测对的/所有 = (TP+TN)/(TP+FN+FP+TN) 精确率(precision) = TP/(TP+FP) 召回率(recall) = TP/(TP+FN) = 敏感性(sensitivity) 特异性(specificity) = TN/(TN+FP), 即在所有负样本当中,有多少被检出为阴性?   学习...

(转)初学者如何查阅自然语言处理(NLP)领域学术资料

发布时间:2016-01-31  栏目:自然语言处理  评论:0 Comments

1.   国际学术组织、学术会议与学术论文 自然语言处理(natural language processing,NLP)在很大程度上与计算语言学(computational linguistics,CL)重合。与其他计算机学科类似,NLP/CL有一个属于自己的最权威的国际专业学会,叫做The Asso...

随机森林(Random Forest)

发布时间:2016-01-28  栏目:机器学习  评论:0 Comments

随机森林顾名思义,是用随机的方式建立一个森林,森林里面有很多的决策树组成,随机森林的每一棵决策树之间是没有关联的。在得到森林之后,当有一个新的输 入样本进入的时候,就让森林中的每一棵决策树分别进行一下判断,看看这个样本应该属于哪...

自然语言理解(Natural Langauge Understanding)

发布时间:2016-01-25  栏目:人工智能, 自然语言处理  评论:0 Comments

自然语言理解是AI完全问题。   语言的分析和理解过程是一个层次化的过程。现代语言学家把这一过程分为3个层次:词法分析、句法分析和语义分析。如果接收到的是语音流,那么在上述3个层次之前还应当加入一个语音分析层。虽然这种层次之间并...

机器学习及深度学习工具

发布时间:2016-01-21  栏目:软件、框架及系统  评论:0 Comments

最开始的改进是使用GPU来加速训练,GPU可以看成一种SIMT的架构,和SIMD有些类似,但是执行相同指令的warp里的32个core可 以有不同的代码路径。对于反向传播算法来说,基本计算就是矩阵向量乘法,对一个向量应用激活函数这样的向量化指令,而不像...

[转][译] 理解 LSTM 网络

发布时间:2016-01-21  栏目:深度学习, 自然语言处理  评论:0 Comments

LSTM在自软语言处理领域及游戏AI领域很有用,主要可以用来设计语言模型等。   网上看到这篇文章,感觉写得很好,转贴如下:   Recurrent Neural Networks 人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候...

机器学习基础知识回顾-马尔科夫过程(Markov Process)

发布时间:2016-01-17  栏目:机器学习, 自然语言处理  评论:1 Comment

马尔可夫过程(Markov process)是一类随机过程。它的原始模型马尔可夫链,由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性:在已知目前状态 (现在)的条件下,它未来的演变 (将来)不依赖于它以往的演变 ( 过去 ) 。 例如森林中动...

语言模型(Language Model)问题

发布时间:2016-01-16  栏目:自然语言处理  评论:0 Comments

语言模型,即用来计算一个句子出现概率的模型。   主要应用场合: (1)语音识别(Speech Recognition)。同样的发音可能识别出很多可能的句子,使用它们出现的概率,取最大的概率来作为是别的结果。 (2)光学字符识别(Optical Character...

机器学习基础知识回顾-线性规划

发布时间:2016-01-16  栏目:机器学习  评论:0 Comments

线性规划是运筹学中研究较早、发展较快、应用广泛、方法较成熟的一个重要分支,它是辅助人们进行科学管理的一种数学方法.在经济管理、交通运输、工农业生产等经济活动中,提高经济效果是人们不可缺少的要求,而提高经济效果一般通过两种途径:一...

自然语言处理综述

发布时间:2016-01-16  栏目:自然语言处理  评论:0 Comments

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们...

对偶理论

发布时间:2016-01-15  栏目:机器学习  评论:0 Comments

每一个线性规划问题都伴随有另一个线性规划问题,称为对偶问题。原来的线性规划问题则称为原始线性规划问题,简称原始问题。 对偶问题有许多重要的特征,它的变量能提供关于原始问题最优解的许多重要资料,有助于原始问题的求解和分析。对偶问题...

相册集

pix pix pix pix pix pix

关于自己

杨文龙,微软Principal Engineering Manager, 曾在各家公司担任影像技术资深总监、数据科学团队资深经理、ADAS算法总监、资深深度学习工程师等职位,热爱创新发明,专注于人工智能、深度学习、图像处理、机器学习、算法、自然语言处理及软件等领域,目前发明有国际专利19篇,中国专利28篇。

联系我

个人技术笔记

290125097@qq.com

2015 in Shanghai