Hopfield神经网络

Hopfield神经网络是一种递归神经网络，由约翰·霍普菲尔德在1982年发明。

简介Hopfield神经网络是一种递归神经网络，由约翰·霍普菲尔德在1982年发明。Hopfield网络是一种结合存储系统和二元系统的神经网络。它保证了向局部极小的收敛，但收敛到错误的局部极小值（local minimum），而非全局极小（global minimum）的情况也可能发生。Hopfield网络也提供了模拟人类记忆的模型。

离散Hopfield网络是一个单层网络，有n个神经元节点，每个神经元的输出均接到其它神经元的输入。各节点没有自反馈。每个节点都可处于一种可能的状态（1或－1），即当该神经元所受的刺激超过其阀值时，神经元就处于一种状态（比如1），否则神经元就始终处于另一状态（比如 －1）。 整个网络有两种工作方式：即异步方式和同步方式。

构造Hopfield网络的单元是二元的（binary），即这些单元只能接受两个不同的值，并且值取决于输入的大小是否达到阈值。Hopfield网络通常接受值为-1或1，也可以是0或者1。输入是由sigmoid函数处理得到的。 sigmoid函数定义为：1

用于将输入化简为两个极值。

每一对Hopfiled网络的单元i和j间都有一对以一定权重（weight）的连接{\displaystyle w_{ij}}。因此，Hopfiled网络可被描述为一个完整的无向图G=，其中V是人工神经元集合。

Hopfiled网络的连接有以下特征：

（没有神经元和自身相连）

（连接权重是对称的）

权重对称的要求是一个重要特征，因为它保证了能量方程（称向函数某一点收敛的过程为势能转化为能量）在神经元激活时单调递减，而不对称的权重可能导致周期性的递增或者噪声。然而，Hopfiled网络也证明噪声过程会被局限在很小的范围，并且并不影响网络的最终性能。

应用联想记忆功能是离散Hopfield网络的一个重要应用范围。要想实现联想记忆，反馈网络必须具有两个基本条件：

① 网络能收敛到稳定的平衡状态，并以其作为样本的记忆信息；

② 具有回忆能力，能够从某一残缺的信息回忆起所属的完整的记忆信息。 离散Hopfield网络实现联想记忆的过程分为两个阶段：学习记忆阶段和联想回忆阶段。在学习记忆阶段中，设计者通过某一设计方法确定一组合适的权值，使网络记忆期望的稳定平衡点。联想回忆阶段则是网络的工作过程。

离散Hopfield网络用于联想记忆有两个突出的特点：即记忆是分布式的，而联想是动态的。 离散Hopfield网络局限性，主要表现在以下几点：

① 记忆容量的有限性；

② 伪稳定点的联想与记忆；

③ 当记忆样本较接近时，网络不能始终回忆出正确的记忆等。另外网络的平衡稳定点并不可以任意设置的，也没有一个通用的方式来事先知道平衡稳定点。

参见玻尔兹曼机– 像一个Hopfield网络，可采用退火吉布斯抽样代替梯度下降

易辛模型

赫布理论

本词条内容贡献者为:

张尉 - 副教授 - 西南大学