英语原文共 13 页，剩余内容已隐藏，支付完成后下载完整资料
Hopfield神经网络解决数学编程问题
摘要：Hopfield神经网络是求解优化或数学规划问题的一个主要神经网络。人工神经网络的主要优点在于它的结构可以在电子线路上实现，这可能是在非常大规模集成电路电路中实现的，它是一个具有并行分布式过程的在线求解器。人工神经网络的结构采用了三种常用的方法:惩罚函数、拉格朗日乘数法、原始和对偶法来构造能量函数。当函数达到稳态时，得到问题的近似解。通过这些方法，我们进一步解决了人工神经网络三种类型的数学编程问题:线性、非线性和混合整数。并详细讨论了每种方法的基本要点。一些关于利用人工神经网络的和困难的评论被后续的调查而解决。最后文章对此给出了结论，并给出了今后的研究方向。
- 介绍
在过去的二十年里，人工神经网络或神经网络（NNs）在求解数学编程（MP）或优化问题上得到了广泛的发展。在各种神经网络中，有几个网络被用于优化（Looi,1992; Kumar, 2005），如Hopfield神经网络（Hopfield，1982），自组织特征图（Kohonen，1982），和波耳曼斯机器（Ackley et al.，1985）。由于几乎所有类型的优化问题都已经开发了人工神经网络和普通神经网络结构，因此它们的内部技术、优缺点和缺点值得被回顾。
对神经元及其网络进行信息处理的研究，引起了物理学、电子学和电学方面的学者的广泛关注。他们试图将这些问题与大脑的计算原理进行模拟，以模拟大脑中所使用的计算原理。Hopfield和tank通过解决一个旅行推销员问题（TSP）和线性规划（LP）问题（Hopfield，1982，1984），为神经计算做出了重大贡献。Hopfield和Tank,1985;1986年的Tank和Hopfield。）虽然Shirazi和Yih(1989)指出了该方法的一些缺点，但后来的调查人员(Ricanek et al.，1999)提出了进一步的改进和验证。
一般的约束优化问题通常假定某些客观成本(或效益)函数的最小化(或最大化)会受到独立变量的各种约束，而这些问题在科学、工程和商业等各个领域都很受欢迎(Bazaraa等，2005,2006)。从技术上讲，人工神经网络的优化方法是处理一个动态系统，其中的能量函数，或李雅普诺夫函数(见附录a)，描述了网络的行为，并表示要解决的问题。它的架构可以通过使用电子线路实现，可能是在VLSI电路上，作为一个并行分布式过程的在线解决方案(Cichocki和Unbehauen, 1993)。这些特殊的特性有利于实时优化，并已应用于模式识别、调度、制造和众多业务应用程序之中((Looi, 1992; Sharda, 1994; Smith and Gupta, 2000; Wong et al., 2000; Zhang and Huang, 1995)。
随着人们对人工神经网络的兴趣日渐浓厚，许多种神经网络被提出。例如，Kennedy和Chua(1988)扩展了Tank和Hopfield的成果去解决一个非线性的编程问题。 Rodrı acute; guez-Vaacute;zquez et al. (1988, 1990)提出了可控电容的神经网络去解决线性规划和非线性规划问题。之后, Zhang and Constantinides (1992) 引入了拉格朗日神经网络去解决一般的非线性规划问题（NLP)，Cichocki and Unbehauen (1993)提出了基于拉格朗日乘数法的神经网络求解非线性规划问题（NLP)。Xia et al. (2005)提出了一种原问题与对偶问题的方法去解决线性和二次规划的问题。尽管如此，关于NN优化的研究已经出现在多种期刊上。感兴趣的读者可以参考计算机和操作研究(No.34, Vol. 19, 1992) ,神经计算与控制 (No. 13, Vol. 8, 1995), 欧洲运筹学研究期刊(No. 2, Vol. 93, 1996). 一些完整的文献目录可以从书籍和论文中获取(Klimasauskas, 1989; Looi, 1992; Sharda, 1994; Widrow et al.,1994; Wilson and Sharda, 1992).
由于目前还没有对大量的有关人工神经网络的文章进行系统的优化分类，所以我们尝试对人工神经网络的文章的本质进行分类，以此作为以后的研究的指导方针。他们的特殊结构比如惩罚函数法，拉格朗日乘数法和原问题与对偶问题法也得到了阐述。特别的是，网络的能量函数阐述了网络的行为特征并并支持搜索方向来寻找实时优化的解决方案。函数是连接人工神经网络和约束优化问题的关键。鉴于其重要性，我们重审了基于三种方法的文献：乘法函数，拉格朗日函数和原问题与对偶问题法。内容组织如下。第二部分讨论了人工神经函数的基本功能和基础层面。惩罚函数法，拉格朗日乘数法和原问题与对偶问题法在三至五章分别被阐述。用神经网络解决线性规划，非线性规划和郑虎线性规划编程问题在每种方法中得到展示。在第六部分中，本文阐述了利用人工神经网络时可能遇到的困难，并给出了今后研究的结论和方向。
- HNN的一般功能和基本方面
根据许多相关特征，神经网络已经以各种方式表征 (Basheer and Hajmeer, 2000; Sima and Orponen, 2001)。一般来说，神经网络有两种结构（Zurada，1992）。两者都必须进行配置，使得一组输入的应用产生（直接或通过松弛过程）所需的一组输出，并且存在各种方法来确定连接的强度。一种方法是使用先验知识明确地放置权重。另一种方法是通过给它提供教学模式来训练神经网络，并根据一些学习规则让它改变权重。HNN属于非训练模型。 特别是，HNN被认为是反馈（或经常性）而不从模式集中学习（Zurada，1992）。HNN由一组神经元和一组相应的单位延迟组成，形成一个多重环路反馈系统。每个反馈回路都等于一个神经元。基本上，每个神经元的输出都是通过一个单位延迟元件反馈给另一个神经元的系统中的神经元。
HNN不受附加输入的影响，并且每个神经元通过权重与剩余的神经元完全连接并且总是更新连接权重。关联存储器或内容可寻址存储器是一种通过其内容访问存储器的存储器组织，它总是从所有存储的原型中搜索最接近的匹配 (Du and Swamy, 2006)。这类似于将信息作为生物神经元存储在联想记忆中（Kohonen，1982）。换句话说，关联和信息检索的过程是通过具有集体计算能力的非线性电路元件的高度互连系统的动态行为来模拟的 (Hopfield, 1982).
由于上述特点，HNN由于具有完全连接的特性而容易实现其并行计算能力。网络使用电路来模拟生物神经元的行为，基本模型可以是通过将一个或多个阵列或电阻器互连，具有对称输出的非线性放大器以及外部偏置电流来实现图1。 有n个神经元，每个神经元由一个电阻gi，一个电容ci和一个具有激活函数w (u i ), i = 1,2,...,n的非线性放大器表示。 ...。 ，n。电阻电容充电方程确定速率ui的变化，i = 1,2，...，n，其中ui是放大器的输入电压。 输入通过函数 w (u i ), i = 1,2,...,n,分别映射到输出电压vi或vi（正常或反相）。连接正常或反向输出的选择取决于电导或权重wij的正值或负值，i = 1,2,...,n, j = 1,2,...,n。 每个神经元的输入来自两个来源，外部输入 I i 和来自其他神经元的输入，具有从神经元j到神经元i的互连强度或权重wij (Hopfield, 1982)。 此外，Hopefield证明了稳定网络的充分条件是其突触权重是对称的，即 w ji = w ij with w jj = 0，即系统具有Lyapunov函数 (Hopfield, 1982)。在这里，权重是从函数中导出的，并且神经元根据本地信息（即反馈）保持转移，直到达到稳定状态(Burke and Ignizio, 1992)。
在建立NN模型之后， Hopfield 和Tank (1985)试图解决上述硬件电路上的TSP问题，后来他们(Tank and Hopfield, 1986)扩展了处理LP问题的概念。然而，该模型缺乏进一步发展的材料技术（Hopfield，1988年）。以后的大部分工作都是在数字计算机上进行模拟，而不是在硬件上实现。从实践的角度来看，HNN已经应用到MP问题的许多领域，并且我们有系统地组织它们。有兴趣的读者可以参考 Burke and Ignizio (1992), Cichocki and Unbehauen (1993), Klimasauskas (1989), Looi (1992),Sharda (1994), Smith (1999), Widrow et al. (1994), and Zhang(2000) 。
2.1。Hopfield网络的分类
HNN是一种常规性的NN，突触连接模式，其中存在活动动力学的Lyapunov函数（Hopeld， 1982, 1984）。在原始的HNN模型中，系统的状态从任何初始状态演化为最终状态，在此状态下它是Lyapunov函数的（局部）最小值。 基于输出函数，HNN可以分为两种流行形式：离散和连续时间模型。
2.1.1.离散的Hopfield网络
在离散HNN中，如果当前状态等于某个阈值，则单位使用双极输出函数，其中单位的状态或零，即单位的输出保持相同，并且不改变。除此以外，这里，wij是单位i和j之间的连接权重，和hi是单元i的阈值。 很显然，随着神经元状态的更新，能量函数不会增加（Hopfield，1982）。一般而言，经常性网络的性质可以描述为一种能量函数，用来提高经常性网络的稳定性。
Hopfield（1982）提出了一个能量函数来证明其稳定性。并表明能量函数是一个 Lyapunov函数，它可以导致最终状态进入稳定状态，如果神经元是重复的，它以任何顺序一次更新一个。另一方面，能量函数的局部最小值对应于存储图案的能量。根据Bruck and San (1988)，网络可以从任何初始状态收敛到最小。因此，该特性有助于应用程序。另外，一种着名的用于优化的神经网络Boltzmann机器是离散HNN的扩展。它仅用随机局部搜索动力学取代HNN的确定性局部搜索动态(Kumar, 2005; Kurita and Funahashi, 1996)，但它只适用于少数问题。
2.2.Hopfield网络的方法
HNN通过近似 (Hopfield and Tank, 1985)来操纵MP问题。它通过电子电路模拟神经元的行为。在电路建立了许多类似的组件后，可以实现在线求解的并行计算。这些特点有利于实时优化，并已应用于求解诸如LP、NLP、二次规划、MILP、多目标线性规划等优化问题。 (Bouzerdoum and Pattison, 1993; Cichocki and Unbehauen, 1993; Ham and Kostanic,2001; Hopfield and Tank, 1985; Kennedy and Chua, 1988; Looi,1992; Rodrı acute;guez-Vaacute;zquez et al., 1988, 1990; Shih et al., 2004;Smith et al., 1998; Smith, 1999; Wang, 1992, 1996; Xia, 1996).
从计算方面来说，HNN对优化问题的运行管理着一个以能量函数为特征的动态系统，它是目标函数和原问题约束的结合。由于NLP问题的功能与形式有一些相似之处，因此可以利用许多NLP的常用技术。在这种情况下，三种常见的处理NLP问题的技术，即它适用于惩罚函数、拉格朗日函数(或增广拉格朗日函数)、原始和双函数。首先，惩罚函数使用惩罚参数来组合约束和目标函数，然后构造一个最小化的能量函数。其次，拉格朗日函数(或增广拉格朗日函数)利用拉格朗日倍数来构造一个能运行的能量函数。第三，原始和双重功能是由原始功能和双重功能组成，并试图达到功能之间的最小距离。这三种方法适用于解决各种MP问题，如LP、NLP、MILP等。以下部分从技术角度回顾了HNNs的文献。
3.惩罚函数方法
惩罚函数法是一种常用的优化方法，它用于构造单一无约束问题或无约束问题序列。在决策空间中可以采用搜索方法进行求解，最陡下降法是获取搜索方向的常用技术 (Cichocki and Unbehauen, 1993)。
在我们的调查中，许多NN方法利用一个相当基本的惩罚函数来建立能量函数，通常收敛到一个稳定点。在下面的内容中，我们分别用LP、NLP和MILP问题来说明一些基本的部分。
Maa and Shanblatt (1992)采用了两阶段NN结构来解决问题。在第一阶段，t lt; t1, t 1是随机选择的，结构与 Kennedy and Chua.相同。网络的稳定性取决于如何选择惩罚参数s和时间参数t 1，但选择t 1是不容易的。如果初始解不属于可行域，则解不收敛于最终的稳定状态。此外， Chong et al. (1999)通过基于精确不可微罚函数的动态梯度法分析了一类求解LP问题的NN模型。他们开发了一种分析工具，帮助系统在一段时间内收敛到一个解决方案。
由于非线性问题普遍存在，NLP问
全文共6930字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[16484]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
