杨文龙的博客 » 2015 » 11月 - 个人技术笔记 - 热爱创新发明，专注机器学习、算法、深度学习、自然语言处理及人工智能

LSTM网络

发布时间：2015-11-26 栏目：人工智能, 机器学习, 机器翻译, 深度学习, 自然语言处理评论：0 Comments

LSTM（Long-Short Term Memory,LSTM）是一种时间递归神经网络，论文首次发表于1997年。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。 RNNs一旦展开，可以将之视为一个所有层共享同样权值的深度前馈神经网络...

计数排序

发布时间：2015-11-26 栏目：软件算法评论：0 Comments

基本思路为： 1. 我们希望能线性的时间复杂度排序，如果一个一个比较，显然是不实际的，书上也在决策树模型中论证了，比较排序的情况为nlogn的复杂度。 2. 既然不能一个一个比较，我们想到一个办法，就是如果我在排序的时候就知道他...

归并排序

发布时间：2015-11-25 栏目：软件算法评论：0 Comments

归并排序是建立在归并操作上的一种有效的排序算法。该算法是采用分治法（Divide and Conquer）的一个非常典型的应用。首先考虑下如何将将二个有序数列合并。这个非常简单，只要从比较二个数列的第一个数，谁小就先取谁，取了后就在对应数列中删...

快速排序

发布时间：2015-11-24 栏目：软件算法评论：0 Comments

快速排序法原理也是用了分治法，主要原理是将数组分为A[p..q-1] 和A[q+1..r]，然后调整元素使得A[p..q-1]小于等于q，也小于等于A[q+1..r]。然后不断的递归，到最后就排序完成。 #include #include size_t partition(int* datas,int beg,i...

机器学习理论与人生感悟

发布时间：2015-11-22 栏目：感悟评论：0 Comments

这段时间学习了不少机器学习理论，感悟颇多，首先赞叹于前辈科学家们的伟大，发明的这些公式以及理论，把现实世界的问题变成了数学公式，推导应用之后，竟然真的可以解决现实中的问题！而且是以智能的方式，真是令人赞叹！而机器学习邻域，个人...

AI-complete

发布时间：2015-11-20 栏目：人工智能, 机器学习, 机器翻译, 深度学习, 自然语言处理评论：0 Comments

In the field of artificial intelligence, the most difficult problems are informally known as AI-complete or AI-hard, implying that the difficulty of these computational problems is equivalent to that of solving the central arti...

【转】奇异值分解（We Recommend a Singular Value Decomposition）

发布时间：2015-11-20 栏目：人工智能, 机器学习, 深度学习, 自然语言处理评论：0 Comments

Singular Value Decomposition (SVD) — Working Example | by Roshan Joe Vincent | Intuition | Medium 在这篇文章中，我们以几何的视角去观察矩阵奇异值分解的过程，并且列举一些奇异值分解的应用。介绍矩阵奇异值分解是本科数学课程...

动态规划、分治法与贪心算法的区别

发布时间：2015-11-19 栏目：软件算法评论：0 Comments

分治法与动态规划的相同点：分治法与动态规划，二者要求原问题具有最优子结构，都是将问题分而治之分解成若干个规模较小的子问题；不同点：动态规划是将原问题分解为多个子问题，通过计算出子问题的结果构造一个最优解。动态规划通过迭代法自...

八皇后问题

发布时间：2015-11-18 栏目：软件算法评论：0 Comments

算法提出：在国际象棋棋盘上（8*8）放置八个皇后，使得任意两个皇后之间不能在同一行，同一列，也不能位于同于对角线上。问共有多少种不同的方法，并且指出各种不同的放法。算法思路：首先我们分析一下问题的解，我们每取出一个皇后，放入一...

优化算法之梯度下降法

发布时间：2015-11-18 栏目：机器学习评论：0 Comments

梯度下降法（Gradient Descent）是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度...

【转】Moses中模型训练的并行化问题

发布时间：2015-11-18 栏目：机器翻译, 自然语言处理评论：0 Comments

Moses的操作步骤比较简单，具体可以参考Moses的官网，这里只转帖一篇关于操作的，其他主要侧重算法原理：众所周知，在Moses中除了语言模型的训练是利用srilm的ngram-count模块单独训练外，其它模型的训练都是利用train-factored-phrase-model.p...

Weibull回归

发布时间：2015-11-17 栏目：机器学习评论：0 Comments

先说下Weibull分布：从概率论和统计学角度看，Weibull Distribution是连续性的概率分布，其概率密度为：其中，x是随机变量，λ＞0是比例参数（scale parameter），k＞0是形状参数（shape parameter）。显然，它的累积分布函数是扩展的指数分...

实现正则表达式匹配器

发布时间：2015-11-16 栏目：软件算法评论：0 Comments

Rob Pike在《The Practice of Programming》中使用约30行代码，实现了一个正则表达式匹配器，用来处理以下的模型。字符含义 c 匹配认字的字母c .(句点) 匹配任意的单个字符 ^ 匹配输入字符串的开头 $ 匹配输入字符串的结尾 * 匹...

熵（Entropy）

发布时间：2015-11-15 栏目：机器学习评论：0 Comments

熵：信息熵热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。 C. E. Shannon 在 1948 年发表的论文“通信的数学理论（ A Mathematical Theory of Communication ）”中指出，任何信息都存在冗...

COX回归模型

发布时间：2015-11-15 栏目：机器学习评论：0 Comments

Cox比例风险回归模型（Cox’s proportional hazards regression model），简称Cox回归模型。该模型由英国统计学家D.R.Cox于1972年提出，主要用于肿瘤和其它慢性病的预后分析，也可用于队列研究的病因探索。基本形式如下： h(t/X)=h0(t) exp (β1 ...

【转】深度学习2：反向传导算法

发布时间：2015-11-15 栏目：深度学习评论：0 Comments

假设我们有一个固定样本集，它包含个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲，对于单个样例，其代价函数为：这是一个（二分之一的）方差代价函数。给定一个包含个样例的数据集，我们可以定义整体代价函数为：以...

相册集

关于自己

杨文龙，微软Principal Engineering Manager, 曾在各家公司担任影像技术资深总监、数据科学团队资深经理、ADAS算法总监、资深深度学习工程师等职位，热爱创新发明，专注于人工智能、深度学习、图像处理、机器学习、算法、自然语言处理及软件等领域，目前发明有国际专利19篇，中国专利28篇。

联系我

个人技术笔记

290125097@qq.com

2015 in Shanghai