个人技术笔记

回忆玻尔兹曼机

发布时间：2023-06-14  栏目：人工智能, 图像处理  评论：0 Comments

Hopfield网络用于解决模式识别问题，而玻尔兹曼机用于解决约束满足问题(CSP)。

 

约束满足问题(CSP)可以用Hopfield网络来解决吗？Hopfield网络往往不能收敛到达全局能量最低的稳定态，而是陷入某个局部能量最低的稳定态不能自拔。对于模式识别问题来说，这不是一个问题，因为不管是局部能量最低的稳定态，还是全局能量最低的稳定态，都是Hopfield网络储存的模式。但约束满足问题(CSP)期望的答案往往是唯一的最优解，对应于全局能量最低的稳定态。改进Hopfield网络，让其跳出局部能量最低的稳定态，收敛到全局能量最低的稳定态，是玻尔兹曼机的目标。

什么是玻尔兹曼机？玻尔兹曼机是一种适用于解决包含了大量“弱”约束的约束满足问题的并行计算结构。这里的并行计算结构就是人工神经网络。“弱”约束是相对“强”约束而言的。“强”约束条件是约束满足问题的解必须满足的约束条件。求解围棋、象棋、纵横字谜等等问题时需要满足很多这样的强约束条件。有些约束条件则是求解一些问题，比如图片识别时，并不需要必须满足的；这类条件就是弱约束条件。

和Hopfield网络一样，玻尔兹曼机也是由许多两两双向连接的神经单元组成，并且每个神经单元只有两个状态，on或者off。神经单元之间的连接权重也是对称的，正向连接和反向连接的权重相等。所有的神经单元的最终状态加起来就构成了问题的最终解。所有的神经单元的中间状态加起来就构成了问题的中间解或者假设解，而每个神经单元的状态都是这个假设解的一份子，即单元假设。一个神经单元的状态是on或者off代表着网络当前对这个单元假设的接受或者拒绝。神经单元之间的连接的权重代表了两个单元假设之间成对出现的“弱”约束。权重为正值代表两个单元假设相互支持，可以共存；权重为负值则表示两个单元假设无法共存。

参考：

深度学习神经网络里程碑2——玻尔兹曼机 – 知乎 (zhihu.com)

留下评论

You must be logged in to post a comment.