英语原文共 10 页，剩余内容已隐藏，支付完成后下载完整资料
外文翻译：
非线性处理：混沌系统的预测和无线通信节能
Herbert Jaeger*, Harald Haas, 德国不莱梅大学.
摘要:本文提出了对非线性系统的一种学习方法——回声状态神经网络(ESNs)。ESNs是一种新型的递归神经网络，它最近被提出的在生物大脑方面独立作为一个学习方法。这种学习方法计算效率高，易于使用。在预测混沌时间序列的基准任务方面，比以前的技术在精度方面提高了2400倍。它的工程应用潜力是通过通信信道均衡来说明，其中信号误码率提高了两个数量级。
在科学和工程领域中大量的存在非线性动力系统。如果想要来模拟、预测、分类或控制这样一个系统，则需要一个可执行的系统模型。但是，得到分析模型往往是不可行的。在这种情况下，就不得不采用黑箱模型，从而忽视了内部的物理机制，而只是重现了表面上可观察的目标的输入输出行为。
如果目标系统是线性的,高效的黑箱建模方法是可行的。然而大多数技术系统如果操作在更高的操作点(即接近饱和)会变成非线性的。尽管这种设计会更便宜和更节能，但它仍然没有被使用，因为非线性的结果不能被利用。许多生物力学系统使用全动态范围(达到饱和),从而成为轻量化和节能，却彻底的非线性失真了。
本文提出了一个学习黑盒模型的非线性系统的方法——回声状态神经网络(ESNs)。回声状态神经网络是一种人工递归神经网络(RNN)。递归神经网络的特点是在突触连接通路环中具有反馈(“循环”)的特征。他们即使在没有输入的情况下也可以保持持续的激活，从而表现出动态记忆。生物神经网络通常是周期性的。像生物神经网络，人工RNN在原则上可以学习模拟目标系统，且具有任意精度(1)。有些学习算法是(2-4)逐步调整突触权值来适应RNN以调向目标系统。这些算法没有被广泛地应用在技术上的应用由于收敛速度慢和解非最优(5,6)。ESN的方法不同，它使用了大量的RNN方法(50到1000个神经元；以前的技术通常使用5到30个神经元)，只有从RNN有输出的读出神经元的突触连接才被通过学习被修改；以前的技术调整所以突触连接(图1)。由于训练的读出连接之间没有循环依赖，训练ESN成为一个简单的线性回归任务。
图1：(A) RNN学习方法以前的模式。(B)ESN方法的模式。实线箭头:固定的突触连接,虚线箭头:可调节的突触连接。这两种方法旨于最小化误差d(n)- y(n)；y(n)是网络输出，d(n)是从目标系统观察到的“教师”时间序列。
我们说明了混沌时间序列预测任务的ESN方法(图2)(7)。Mackey-Glass系统(MGS)(8)是时间序列预测研究的标准系统。它产生了一种微妙的不规则时间序列(图2A)。预测任务有两个步骤：(i) 使用由原有MGS产生一个初始教师序列来学习生成系统的一个黑箱模型M，(ii)使用M预测前一些步骤顺序的值。
图2.(A) 经过训练的ESN预测输出(虚线)覆盖了实际的连续的(实线)。(B)三个示例显示内部神经元激活的痕迹(虚线箭头)。他们“传回”教学的信号d(n)。训练结束后，通过输出连接(虚线箭头)来重新创建所需的输出，其权值是训练过程后的结果。
首先,我们随机创建了一个有1000个神经元的RNN (称为“储备池”)和一个输出神经元。
然后重要的是,输出神经元随机连接着连接回水库的神经元(图2B)。一个有3000步由MGS方程生成的教学序列d(1)hellip;hellip;d(3000)输入到输出神经元。这激发了内部神经元通过输出反馈连接。经过初步的初始化后,他们开始表现出系统的个体差异(图2B)。
事实上，内部神经元展现激发态的外部信号的系统变异是ESNs方法的本质：内部神经元为了驱动信号必须作为“传回函数”。不是每一个随机生成的RNN都具有这种特性，但它能有效地建立一个储备池。
重要的是，“回声”信号是丰富多样的。这保证了储备池内1%稀疏连接：这种情况让储备池分解成许多松散耦合的子系统，建立一个结构丰富的可动态激发的储备池。
在n =3000次后，输出连接权值(i=1,...,1000)从最后的2000个步骤1001,...，3000的训练里面计算好了(虚线箭头在图2B),使训练误差：
最小化[，第i个内部神经元在第n步的激活值 ]。这是一个简单的线性回归方法。
当新的计算好，ESN在第3000步后脱离教学然后自由运行。一个双向动态的相互作用的网络产生输出信号伴随着展开的内部信号。输出信号y(n)是由内部神经元训练后的激活信号产生的，。反之，内部信号和输出信号通过固定的输出反馈连接相互呼应。
为了检测，这里计算出来了一段84步的连续的d(3001),..., d(3084) 原始信号的以供参考。网络y(3084)和实际的延续d(3084)的值进行了比较。超过100个独立试验的平均值由最前沿的技术改善了(9–15)，其标准均方根误差为：
(和分别是第j次试验的教学输出值和网络输出值，是MGS信号的方差)，这个使用了有700个系数因子的长度为从500到为10000的训练序列。如果预测是持续运行，偏差通常在约1300步后变得可见(图2A)。随着学习方法的改进(7)，系数因子提高到了2400。其他混沌系统的模型也得到了相似的精度。
仿真中精度跳跃的主要原因是，ESNs利用了大量的短时记忆。分析表明（16）在一定的条件下，一个大小为ESN能够“记住”的最后的N个输入信息。此信息量比其他技术所使用的信息量更为庞大。
我们现在在一个具有实际意义的叫做一种无线通信信道的均衡的任务中阐述一下这个方法（7）。均衡的要点如下。一个发送器想要传达一个符号序列s(n)。这个序列首先转化为模拟的包络信号d(n)，然后调制到高频载波信号中传输，接着接收并解调成一个模拟信号u(n),这个模拟信号是有损的d(n)信号。损失的主要缘由是：(i)噪声（温度或因干扰信号）；(ii)多径传播，导致相邻符号叠加（码间干扰），还有发送器的功率放大器在高增益区的非线性失真引起的。为了避免后者发生，实际功率放大率低于最大放大率，但是在能源使用效率方面产生一个显着的损失，这显然是在手机和卫星通讯中的一种不理想状况。有损的信号u(n)是通过均衡滤波器输出的,均衡滤波器的输出信号y(n)应该使u(n)恢复地尽可能接近的d(n)。最后，均衡后的信号y(n)转换回一个符号序列。整个过程的质量评估是最终得到的不正确符号的百分比（符号错误率）。
为了与标准的ESN均衡器的性能做比较，我们研究了一个非线性无线传输系统的信道模型(17),去比较三种习惯用的非线性均衡方法：即线性判决反馈均衡器（DFE），这实际上是一个非线性的方法，Volterra DFE和一个双线性DFE。模型方程在10个连续的符号之间出现码间干扰，一个二阶和三阶非线性失真叠加着高斯白噪声。研究的方法里面有47个可调参数和用于训练的5000个符号的序列。为了使ESN均衡器和研究中的均衡器做比较(17)，我们采取了一个有46个神经元（这对于ESN方法是很少的）的储备池，取得了47个可调参数（第47个参数来自于一个从输入直接连接到输出神经元）。
我们进行了大量的学习试验(7)从而获得ESN均衡器，采用在线学习的方法（从线性自适应滤波器所知的递归最小二乘算法）对5000步训练序列进行输出权值的训练。我们选择了一个在线自适应方案(17)，因为在(17)的方法也是在线自适应。因为无线通信信道大多是随时间变化的，所以这样的均衡器必须适应不断变化的系统特性。整个学习测试程序不断重复从12到32db的信噪比。图3比较在报道(17)中得到的平均符号错误率，从图中看出在高信噪比下两个幅度有所改善。
图3。非线性信道均衡的使用ESN方法的结果。图中显示信号的错误率（SER）与信噪比（SNR）。(a)线性均衡器。(b)Volterra DFE。(c)双线性均衡器。[(a)到(c)取自文献(20)]。（d）蓝线代表随机生成的储蓄池的ESN平均误差的跨网络的变化。(e)绿色线表示从(d)中选择的最佳的网络的性能。
对于具有多路输入和/或输出的任务，ESN方法可以通过简单增加更多的输入或输出的神经元来达到目的(16,18)。
ESNs可以被运用于所有的基本的信号处理与控制的任务，包括时间序列预测、建模、图形生成、事件检测和分类、随机过程的建模分布、滤波和非线性控制(16,18,19,20)。由于一个单一的学习只需要几秒钟（非常大的数据集和网络或者要几分钟），工程师可以测试出在高周转率的变体，这是ESNs实用的决定性因素。
ESNs已从数学和工程的角度进行了开发，但具有的生物学RNNs算法的典型特征：大量的神经元，重复的途径，稀疏随机连接，还有突触权重的局部修改。使用随机连接RNNs来代表和记忆网络状态动态输入的想法经常被探索在特定情况下被研究，例如：联想记忆的人工智能模型(21)，在感觉运动测序任务中的前额叶皮层的功能模型（22），鸟鸣的模型(23)，小脑的模型(24)，还有神经振子的一般计算模型(25)。考虑了许多不同的学习机制，主要是在RNN本身。ESN的贡献是表现了许多RNNs的性质，这样它可以用于有线性的可读出解得一般黑箱模型。一个基本上相当于ESNs的液体状态网络模型(26,27)，已独立发展成皮质微电路计算模型。近期的神经生理学研究表明，基本的ESN /液态网络原理在生物网络似乎并不罕见(28-30)，最终可能被用来通过采集神经元集体的信号去控制假肢设备(31)。
参考文献：
1. K.-I. Funahashi, Y. Nakamura, 神经网络. 6<!-- 剩余内容已隐藏，支付完成后下载完整资料
资料编号：[147560]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
