利用机器学习预测复杂系统中的极端事件外文翻译资料

 2022-08-08 04:08

英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料

利用机器学习预测复杂系统中的极端事件

摘要：极端事件和相关的异常统计在许多自然系统中普遍存在，开发有效的方法来理解和准确预测这些具有代表性的特征仍然是一个巨大的挑战。在此，我们研究了深度学习策略在预测复杂湍流动力系统极端事件中的技巧。深度神经网络已经成功地应用于许多涉及大数据的成像处理问题，并在最近显示出了研究动态系统的潜力。我们建议使用密集连接mixed-scale网络模型来捕获的极端事件出现截断Korteweg-de弗里斯（tKdV）统计框架，后者创建异常倾斜分布符合最近的实验室实验对浅水波在突然深度改变，一个显著的统计不同逆相变是由温度参数在相应的吉布斯不变的措施。在不知道显式模型动态的情况下，利用数据对神经网络进行训练，训练数据仅来自于tKdV模型解的近高斯状态，不存在较大的极值。摘要提出了一种相对熵损失函数和经验配分函数来测量网络输出的精度。结果表明，优化后的网络具有一致的高技能，能够在各种统计状态下准确预测解，包括高度倾斜的极端事件。该技术有望进一步应用于其它复杂的高维系统。

关键词：异常极端事件，卷积神经网络，湍流动力系统

意义

在复杂的自然系统中，理解和预测极端事件以及相关的异常统计是一个巨大的挑战。深度卷积神经网络为直接从数据中学习基本的模型动力学提供了一个有用的工具。提出了一种预测湍流动力系统极端事件的深度学习策略。一个截断的KdV模型显示了从接近高斯分布到高度倾斜分布的独特统计数据，作为测试模型。神经网络的训练只使用来自于近高斯区域的数据，没有出现大的极值。优化后的网络表现出一致的高技能，能够成功地捕获各种统计状态下的解结构，包括高度倾斜的极端事件。

极端事件及其异常统计在各种复杂的湍流系统中普遍存在，如气候、材料科学、神经科学以及工程设计[1-4]。对这些现象的理解和准确预测仍然是一个巨大的挑战，并且已经成为应用数学中一个活跃的当代课题[5-8]。极端事件可能是孤立的罕见事件[2、9、10]，也可能是间歇性的，甚至在空间和时间上频繁发生[6、8、11、12]。在大型复杂系统[3、4、6、13]中，维数是准确预测极端事件的一个重要障碍，需要新颖的模型和高效的数值算法。一个典型的例子可以在最近的实验室实验中发现，湍流地表水波通过一个突然的深度变化揭示了一个显著的过渡到反常的极端事件从近高斯传入流动[1]。

在参考文献14和15中提出了一个统计动力学模型，该型成功预测了浅水波实验中观测到的异常极端行为。提出了截断Korteweg-de Vries （tKdV）方程作为流动表面位移的控制方程。基于tKdV方程的哈密顿形式，导出了描述平衡状态下概率分布的吉布斯不变量。通过简单地控制Gibbs measure[15]中的“逆温度”参数，可以实现从对称的近高斯统计到高度倾斜的概率密度函数（PDF）的统计过渡。

近年来，机器学习策略，尤其是深度神经网络，被广泛应用于涉及大数据的各种问题，如图像分类和识别[16-19]。另一方面，为复杂湍流的研究构建合适的深度学习策略仍然是一个积极发展的课题。开发用于成像处理的深度神经网络工具已被建议用于混沌动力系统的数据驱动预测[20-22]、气候和天气预报[23、24]以及未解决过程的参数化[25-27]。在对极端事件的统计预测中，可用的训练数据往往局限在有限的范围内。一个成功的神经网络需要在更广泛的统计系统中保持自适应技能，这些统计系统与训练数据集有很大的不同。此外，湍流系统的工作预测模型还需要比表征状态变量混合速率的去相关时间更长的预测时间尺度。

在这篇论文中，我们研究了深度神经网络在预测复杂湍流系统的统计解，特别是高度倾斜的PDFs的统计解时的技巧程度。统计tKdV方程是极限事件预测的一种困难的首次试验模型，具有简单的可跟踪动力学，但具有丰富的统计状态，从接近高斯分布到高度倾斜的PDFs显示了极端事件。要问的重要问题是，深层网络是否可以被训练来学习高度非线性动力学中复杂的隐藏结构，仅仅从有限的数据，以及在网络中需要什么基本结构来获得捕捉极端事件的能力。

我们的主要目标是对时间间隔明显长于复杂湍流系统的去相关时间的极端事件进行准确的统计预测。为此，采用卷积神经网络（mixed-scale密集型神经网络MS-D Net），利用多尺度连接和密集连接结构[28]，提供利用tKdV方程解的模型数据进行训练的基本网络结构。该网络具有模型实现更简单、可调训练超参数数量更少的优点。因此，它变得更容易训练，需要更少的计算成本和超参数的技术调整。

神经网络成功捕获极端事件的关键结构包括：

（1）使用相对熵（Kullback-Leibler散度）损失函数来校准目标与网络输出之间的亲密度作为分布函数，从而捕获模型解的关键形状，而不是对湍流输出场值进行点态拟合；

（2）结合经验配分函数对输出数据进行校正，强调模型预测中存在较大的正负值，从而进一步强调解的主要特征。

该卷积神经网络模型在极端事件预测方面具有以下主要优点：

（1）简单的基本网络架构，使得模型更容易训练，更有效的预测不同统计场景下的解。

（2）网络结构利用设计的模型损失函数和输出数据处理来逼近原模型动态，从而更好地逼近系统动态的复杂结构。

（3）通过设计卷积核在不同层中表示不同尺度的网络，自动地对不同尺度下的时空相关性进行建模。

（4）该方法在不同模型超参数下具有较强的鲁棒性，可推广应用于更多超参数的预测复杂的系统。

直接数值试验表明，该神经网络仅从不同统计量的近似高斯分布中获取模型参数，能够成功地获取解的极值。该模型在较长时间内的预测精度远高于状态的去相关时间尺度，证明了该方法的鲁棒性。tKdV方程的成功预测意味着该网络未来在更复杂的高维系统中的应用潜力。

极端事件和神经网络结构的背景

具有极端事件的tKdV方程。tKdV模型提供了一组理想的方程，能够用简单的可跟踪动力学来捕获地表水波动的许多复杂特征。通过一个高的波数在Lambda;截止（J＝2Lambda; 1），盖勒金投射状态诱发比原始（15）更强的湍流动力学。tKdV方程被用来描述统计（14）中突然的相位转变，其中高度偏斜的极端事件是由传播过突然深度变化的波的近高斯统计产生的。tKdV模型是制定一个周期域xisin;（minus;pi;，pi;），有：

其中状态变量u（x，t）表示用深度神经网络直接学习的面波位移。以特征尺度E0为总能量，L0为长度尺度，D0为水深，对模型进行一维化处理。tKdV解的稳态分布可以用从平衡统计力学推导出的不变的吉布斯测度来描述（29）：

三次项二次项与哈密顿函数的竞争。式2的最后一项是约束总能量守恒的函数。唯一的参数theta;＜0逆温度决定了u（14）偏态的PDF。吉布斯措施[2]不同的theta;值可用于提供初始样本的直接模拟模型[1]。不同的最终平衡数据（各种偏态）可以基于整体的初始配置集获得。统计tKdV模型的详细描述和模拟设置在SI附录A部分中提供。

训练和预测数据来自具有差异统计的同一模型。训练深度神经网络的基本思想是使用一个训练数据集，用接近高斯统计的方法从Eq.2中采样解。tKdV模型动力学可以从训练集中学习，而不需要显式地了解模型动力学。那么问题是，在经过训练的神经网络中预测不同数据之间的高度倾斜非高斯分布的技能范围是什么?基于以下策略，从tKdV模型[1]的集成方案中提出训练预测数据集：

（1）在训练数据集，我们从一个模拟生成解决方案从一个near-Gaussian PDF使用小型逆温度的绝对值theta;0（第一行所示，图1中的near-Gaussian PDF）。一方面，动力学模型的解决方案表示{utheta;0}通过深层神经网络学习。另一方面，在这个训练数据集中只得到了接近高斯的统计量，因此神经网络无法直接从训练过程中得知其他统计状态中出现的偏态罕见事件。

（2）为预测数据集，我们测试模型的技能使用数据生成{utheta;}从各种不同的初始温度逆theta;（见第二和第三行，倾斜的PDF在图1），它提供了一个有趣的测试床上检查的范围技能优化神经网络捕捉独特的统计和极端事件。

图1　三种典型参数状态下tKdV方程的解和统计量。前三行标绘了三种统计数据接近高斯分布（第一行）、轻度偏态（第二行）和高度偏态（第三行）的情况下的解目标。第四行是三种情况下的平衡PDFs。最后一行比较了模型状态u的各傅里叶模式的自相关函数和去相关时间。

训练和预测数据集的选择是图1中所示，首次显示，前三行，实现tKdV模型的解决方案从不同的逆温度theta;。小振幅的theta;给near-Gaussian统计模型状态u，而更大的振幅theta;给轨迹与倾斜的PDFs。然后比较直接系综动态解中状态u对应的平衡PDFs，明确说明统计中的这种转变。在所有的tKdV解中都观察到具有多尺度结构的湍流动力学。自相关函数和去相关时间绘制在图1的最后一行，证实了解的快速混合。

深度神经网络的数据结构。深度卷积网络可以看作是一个函数，将输入信号xisin;Rmtimes;ntimes;c，m行，n列，c信道映射到输出数据yisin;Rmrsquo;times;nrsquo;times;crsquo;，mrsquo;行，nrsquo;列，crsquo;信道。我们考虑对tKdV方程在J个网格点处的M个轨迹进行集成仿真，并在时间间隔[t0，tNminus;1]内进行测量。因此，网络的输入数据来自于tj＝j∆t，（j＝0，hellip;，N－1）

作为空间网格点的m＝J行张量，离散时间计算的n＝N列，每个输入样本l＝1只有一个通道c＝1，hellip;，M。在训练过程中，从蒙特卡罗模拟中得到的M个独立解被分成小批量输入到网络中。为简单起见，将输出数据设计为与从以前的初始数据开始，在以后的t＝T＋t0时刻评估的预测状态相同的形状。

转发时间T控制我们希望网络在一次更新中向前推送状态u的时间。对于复杂系统，一个有效的神经网络，时间尺度T应该比去相关时间更长T＞Tdecor。上述结构是为了将原始动态模型的时间和空间相关性输入到神经网络中，以便在近似映射中进行学习。

深度卷积神经网络结构。卷积神经网络的基本结构包括每个卷积层的运算符和多层之间的连接。我们希望首先将神经网络保持在最简单的标准设置中，这样我们就能够集中精力改进关键结构，而不会在操作各种复杂的自组织超参数时迷失方向。更详细的卷积网络构建将在SI附录B部分中描述，遵循参考文献19和28中一般的神经网络架构。

卷积神经网络的基本单元。在每个单独的卷积层中，前一层输出的输入数据以常规形式更新：

首先将卷积算子gh首先应用于大小为wtimes;w的小对称窗口中的输入数据x，其中第一个维度控制空间方向的相关性，第二个维度控制时间相关性。偏移b添加到卷积数据申请前最后一个非线性算子sigma;使用纠正线性单元函数的共同选择。卷积核从一个很小的尺寸开始，3times;3（即在空间和时间上只使用两个最近的相邻点），这使得计算速度快，易于控制。自然地，在空间维度上应用周期性边界条件，并在t0之前和tNminus;1之后及时添加复制边界作为边界填充。在卷积层单元中没有实现其他结构，以保持成像处理中使用的基本标准架构[19]。

密集连接的混合尺度结构。接下来，我们需要提出不同层之间的连接。公共前馈深度中立网络将第i层的输入数据只提供给第i＋1层。前馈网络通常需要更多的层来工作，因此，培训是昂贵的，很难处理。通过层适当地向下缩放和向上缩放也可能需要，而这些向下和向上的操作可能不是一个可行的方法来模拟动态模型的时间积分步骤。

参考文献28中介绍了一种替代方法，即MS-D网络，它通过在每个层中混合不同的尺度，使用一个扩展的卷积，并在所有层之间密集地连接所有的特征映射。首先，为了学习多尺度结构，通过在原始核wtimes;w的值之间添加s个零，对不同层次的卷积核进行不同的扩展，这种扩展的卷积对于捕获湍流动力学中的多尺度结构特别有吸引力。不同的卷积长度尺度自适应地包含了不同的时空尺度。其次，密集的网络连接包含前一层的所有信息，用于更新下一层的输出数据。在实现中，前一层的所有输出作为下一层的输入通道堆积在一起。与不同层中使用的多尺度卷积核一起，下一层的输出将不同尺度的信息组合在一起，在下一个步骤中产生一个平衡的更新。

与直接前馈网络相比，MS-D网络需要较少的地形图和可训练参数，因此更易于处理。该方法将以往各层的数据分解为不同尺度的结构，为动态系统的预测提供了一种理想的方法。然后，不同尺度的动态结构通过密集的网络连接相互通信。直观地说，这是湍流解的

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[240676]，资料为PDF文档或Word文档，PDF文档可免费转换为Word

原文和译文剩余内容已隐藏，您需要先支付 30元 才能查看原文和译文全部内容！立即支付

以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。

您可能感兴趣的文章