个人技术笔记

机器学习基础知识回顾 – 先验概率和后验概率

发布时间：2016-02-27  栏目：机器学习  评论：0 Comments

先验概率 先验概率是指根据以往经验和分析得到的概率,如全概率公式,它往往作为”由因求果”问题中的”因”出现. 先验概率的分类 利用过去历史资料计算得到的先验概率,称为客观先验概率； 当历史资料无从取得或资料不完全时,...

Python基础

发布时间：2016-02-24  栏目：Python  评论：0 Comments

http://www.runoob.com/python/python-tutorial.html   Python中的X[:,0]和X[:,1] X[:,0]是numpy中数组的一种写法，直观来说，X[:,0]就是取所有行的第0个数据, X[:,1] 就是取所有行的第1个数据 X[n,:]是取第1维中下标为n的元素的所有值。 X...

话题检测与跟踪

发布时间：2016-02-24  栏目：机器学习, 自然语言处理  评论：0 Comments

话题检测与跟踪（Topic Detection and Tracking）起源于早期面向事件的检测与跟踪（Event Detection and Tracking，简写为EDT）是近年提出的一项信息处理技术，这项技术旨在帮助人们应对日益严重的互联网信息爆炸问题，对新闻媒体信息流进行新话...

条件随机场(Conditional Random Fields)

发布时间：2016-02-22  栏目：机器学习, 机器翻译, 自然语言处理  评论：0 Comments

机器学习基础知识回顾-L0、L1与L2范数

发布时间：2016-02-21  栏目：机器学习  评论：0 Comments

范数，是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域，范函是一个函数，其为矢量空间内的所有矢量赋予非零的正长度或大小。 L0范数是指向量中非0的元素的个数。 L1范数是指向量中各个元素绝对值之和 L2范数是指向量各元素的平...

机器学习基础知识回顾-最大后验概率估计法

发布时间：2016-02-20  栏目：机器学习  评论：0 Comments

最大后验估计是根据经验数据获得对难以观察的量的点估计。与最大似然估计类似，但是最大的不同时，最大后验估计的融入了要估计量的先验分布在其中。故最大后验估计可以看做规则化的最大似然估计。 首先，我们回顾上篇文章中的最大似然估计，假设...

逻辑回归模型(Logistic Regression, LR)

发布时间：2016-02-18  栏目：人工智能  评论：0 Comments

逻辑回归(Logistic Regression, LR)模型其实仅在线性回归的基础上，套用了一个逻辑函数，但也就由于这个逻辑函数，使得逻辑回归模型成为了机器学习领域一颗耀眼的明星，更是计算广告学的核心。    

Boosting算法

发布时间：2016-02-18  栏目：机器学习  评论：0 Comments

Boosting算法是一种把若干个分类器整合为一个分类器的方法，在boosting算法产生之前，还出现过两种比较重要的将多个分类器整合为一个分类器的方法，即boostrapping方法和bagging方法。   由于Boosting算法在解决实际问题时有一个重大的缺陷...

深度信念网络（Deep Belief Network）

发布时间：2016-02-18  栏目：深度学习  评论：0 Comments

DBN 是由多层 RBM 组成的一个神经网络，它既可以被看作一个生成模型，也可以当作判别模型，其训练过程是：使用非监督贪婪逐层方法去预训练获得权值。 训练过程：  1. 首先充分训练第一个 RBM； 2. 固定第一个 RBM 的权重和偏移量，然后使用其...

词向量和Word2Vec

发布时间：2016-02-17  栏目：深度学习, 自然语言处理  评论：0 Comments

将词用“词向量”的方式表示可谓是将 Deep Learning 算法引入 NLP 领域的一个核心技术。大多数宣称用了 Deep Learning 的论文，其中往往也用了词向量。 0. 词向量是什么 自然语言理解的问题要转化为机器学习的问题，第一步肯定是要找一种方法把这...

Hopfield神经网络（Hopfield Nets）

发布时间：2016-02-12  栏目：深度学习  评论：0 Comments

Hopfield神经网络是一种循环神经网络，由约翰·霍普菲尔德在1982年发明。Hopfield网络是一种结合存储系统和二元系统的神经网络。它保证了向局部极小的收敛，但收敛到错误的局部极小值（local minimum），而非全局极小（global minimum）的情况也...

贝叶斯统计正则化

发布时间：2016-02-11  栏目：机器学习  评论：0 Comments

主要用于遏制过拟合。   在机器学习笔记的最开始，我们提到了一种你和参数的方法就是最大似然函数（maximum likelihood (ML)）： 我们把 称为 的先验概率，给定训练集 ，当我们要对一个新的 进行预测时，就可以计算参数 的后验概率：...

循环神经网络（Recurrent Neural Networks）

发布时间：2016-02-08  栏目：深度学习, 自然语言处理  评论：0 Comments

RNNs的目的使用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用...

Neuro-probabilistic language models

发布时间：2016-02-06  栏目：机器翻译, 深度学习, 自然语言处理  评论：0 Comments

一种更加先进的语言模型，占位，后面补充。

感知器（Perceptron）算法

发布时间：2016-02-03  栏目：深度学习  评论：0 Comments

感知器（Perceptron），是神经网络中的一个概念，在1950s由Frank Rosenblatt第一次引入。 单层感知器（Single Layer Perceptron）是最简单的神经网络。它包含输入层和输出层，而输入层和输出层是直接相连的。 图1.1 图1.1便是一个单层感知器，...

机器学习基础知识回顾-常见的概率分布

发布时间：2016-02-02  栏目：机器学习  评论：0 Comments

几种重要的概率分布有： 二项分布、泊松分布、均匀分布、指数分布和正态分布。   一、贝努里概型和二项分布 1、贝努里概型 在相同条件下进行的n此重复试验，如果每次试验只有两个相对立的基本事件，而且它们在各次试验中发生的概率不变，那...