英语原文共 14 页，剩余内容已隐藏，支付完成后下载完整资料
基于时空注意力机制的全市乘客需求预测模型
摘要
在出租车调度系统中，预测全市乘客的接送需求对于制定有效的出租车调度策略以解决需求和服务的不匹配问题是必不可少的。与仅仅预测下一步相比，预测多个步骤更可取，因为它可以提供一个长期的观点，从而防止短视的策略。然而因为乘客需求分布具有复杂的时空相关性，且对后续步骤的预测缺乏前期步骤的依据，所以多步城市乘客需求预测(MsCPDP)存在一定的局限性。本文提出了一种基于深度学习的时空注意力预测模型（ST-Attn），它遵循一般的编解码框架来建模序列数据，但是采用了一种没有递归神经网络单元的多输出策略。时空注意机制学习关注的是在特定时段城市中与预测区域和时间段的乘客需求更相关的部分。此外，还将时空核密度估计的预测结果反馈给ST-Attn,为进一步准确预测提供参考。在三个真实世界数据集上进行了实验，验证了ST-Attn的性能，结果表明ST-Attn在MsCPDP方面优于基线。
关键词：注意力机制；深度神经网络；多步预测；乘客需求预测；时空数据分析
1 引言
随着 uber、 lyft 和 didi 等叫车软件的日益普及，乘客叫出租车越来越方便。应用后端系统--出租车调度系统接收到乘客所需要的上车地点和下车目的地的订单，然后安排附近的出租车接单[34]。空置出租车不需要在道路上寻找乘客，乘客只须确认他们的位置。随着这种服务的普及，整体用户体验的提升需要乘客更短的等候时间和更高的出租车使用率。也就是说，如果将城市划分为多个网格(例如：1km1km)，出租车服务应该在大部分时间内大致满足乘客需求(例如图1a 中的网格 E)。然而，现实和理想之间总是有差距的。没有乘客需求分布的信息，空置出租车适当地涌入人群密集的地区(如图1a中的网格A及网格D），造成需求-服务不匹配或交通拥堵。
（a） （b）
（c）
图1所示 （a）在缺乏乘客需求分布信息的情况下，空置的出租车会适当的涌入人群密度较大的区域（如网格A和网格D），造成服务-需求的不匹配或交通拥堵。（b）北京地区需求密度的时间区间。（c）多步城市乘客需求预测是在未来多个连续时间段内，预测城市（被划分为网格）中每个区域的乘客需求（乘客数量）。
因此，出租车调度系统通常根据乘客需求分布的估计预测来制定有效的出租车调度策略[22,23]。他们告知出租车司机当前或未来某个时间段内在某个地区接载乘客的概率[36]。显然，对乘客需求分布的准确估计或预测对于制定策略是必不可少的，但是预测对于提供未来时段的信息来说是更好的选择[28,46]。
预测全市范围内的乘客接送需求提供每个地区乘客数量和可用出租车数量的信息。现有的乘客需求预测方法已充分探讨了下一步预测[34,43]。然而，我们认为多步骤的全市乘客需求预测(MsCPDP)可以从两个方面为出租车调度系统提供更好的效益。首先，出租车需要一段时间才能到达乘客需求所在的区域，而长时间的等待会对用户体验产生负面影响。MsCPDP 提供的长期视图可以为出租车分配和调度策略提供足够的时间。第二，乘客需求是随时间变化的的，一旦乘客下车，出租车就可以使用。乘客 / 出租车在多个连续的未来时间段内的分布情况可以避免短视策略并且增加灵活性。
在本文中，我们研究了 MsCPDP 问题，并提出了预测模型。 如图1c 所示，MsCPDP可以预测在给定未来的多个时间段内，城市(划分为矩形网格)中每个区域的载客需求(乘客数量)。主要有两个方面的挑战:
bull;乘客需求的时变分布具有复杂的时空相关性。图1b显示，全市乘客需求分布随时间的推移就像海浪一样，一个下降，另一个上升。由于道路网络发达，一个地区的大量载客伴随之后一段的时间内近处或远处乘客下车的量增加。也就是说，在客流的接送分布中形成了长期的空间和时间相关。因此，准确地进行MsCPDP的关键是全局的确定哪些区域和时间间隔与预测区域和预测时间段的乘客需求更为相关是关键。
bull;乘客需求分布的最后一步信息有助于下一步的预测。然而，对于 MsCPDP 中那些后续步骤的预测，并没有来自预步骤的基础事实。已知的最后一步信息不足以进行多步预测。随着时间的推移，已知的最后一步和预测的后续步骤之间的时空相关性会减弱。要实现准确的预测，需要正确地引入历史统计信息，即与预测的时间周期相似的历史时间周期内的乘客需求分布。
我们提出了一种基于深度神经网络（DNNs）的时空注意力预测模型，简称 ST-Attn。ST-Attn 遵循一般的编解码框架来建模序列数据[32] ，但是采用了多输出策略。我们的研究有三个方面的贡献:
(1)时空注意机制(ST-AM)层: 在计算预测区域和预测时段的乘客需求时，ST-AM 层学习全局确定特定时段内城市中相关性更强的部分。ST-AM 层除了在ST-AM中对乘客需求分布的局部空间相关性进行二维卷积神经网络(2D-CNNs)建模和对短期时间相关性进行一维卷积神经网络（1D-CNNs）建模外，进一步扩展了接受域，学习乘客需求分布中的全局时空相关。
(2)将预测结果输入预测模型: 根据历史信息，利用时空核密度估计(stKDE [48])计算预测结果，并输入ST-Attn。为MsCPDP后续步骤的预测提供了未来乘客需求分布的参考信息， 弥补了前期步骤的不足，简单有效。
(3)在三个真实数据集上进行了实验，验证了ST-Attn的性能，结果表明该算法在 MsCPDP 方面优于基线算法。
2 相关工作
2.1 乘客需求预测
全市乘客需求预测可以看作是一种时空数据预测问题[29]。类似的工作有全市人群流量预测[41,47]、地铁客流量预测[19,21]、共享单车需求预测[1]等，它们本质上专注于预测在给定的未来时间段内有多少移动物体将离开或到达一个地区或车站。自回归模型中的自回归综合移动平均模型(ARIMA)及其变体 Vector-ARIMA[2]、季节性ARIMA或基于ARIMA[25]的集成框架等在早期的研究中被广泛应用于线性时间建模。为了进一步考虑空间相关性，研究了 HMM [43] 、GBRT [8]、层次推理模型和基于多相似性的推理模型[17]。这些基于特征的方法大多可以在某些实际情况下提供有用的预测。然而，它们严重依赖于人工设计的特性和领域专家的帮助。
随着深度神经网络(DNNs)在图像理解和自然语言处理(NLP)领域之外的应用越来越广泛，许多研究者提出了基于 DNNs 的时空数据预测模型，如 (ST-ResNet)[41]、 ST-UNet [47]、 DEEPSTN [19]、 DeepSD [34]等。 一般来说，这些基于 DNNs 的模型由于具有鲁棒的非线性时空建模和充分研究的训练技巧而取得更好的效果[11]。这些下一步预测模型可以直接应用于迭代或直接策略的多步预测。然而，由于误差的累积，性能会不理想[4,29]。在本文中，我们重点研究如何训练一个端到端的基于 DNNs 的 MsCPDP 模型，直接将原始输入映射到所需的多步输出。
2.2 时间序列预测
学习一个端到端的 MsCPDP模型具有挑战性，因为数百个时间序列的多步骤行为需要仔细建模。在时间序列分析中，单变量时间序列预测方法受到了广泛的关注。例子很容易在经济和金融领域找到，例如预测股票市场的价格活动[26,31]。然而，多时间序列和多步向前预测在时间序列预测中仍然是一个未解决的难题，因为每个序列之间的相关性、误差的累积和不确定性的增加使问题变得十分复杂，需要在预测模型结构中进行特殊的设计。在文献[29]中，通过回顾多步预测的常用策略，并利用 NN5预测竞争数据进行验证，得出结论: 多输出策略是最佳的预测方法，而去量化可以提高预测精度。对于多时间序列预测，文献[30]提出了一种使用多输入多输出模糊聚合模型的方法。类似的工作还包括多步预测的 MNNs [24]、跨多个时间序列的建模语义以进行多步预测[27]、电力负荷预测的多方程时间序列模型[10]等。然而，当这些工作应用于时空序列预测时，由于计算复杂度和时空性，会遇到性能退化问题[29]。
时空序列预测问题通常有数百个时间序列，如道路交通速度 / 交通量预测[37-39] ，城市/国家区域或观测点细粒度空气质量预测[44,45]或全市人群流量预测[13,42]等。目前大多数的预测模型是基于DNNs的。为了处理数据中的时空相关性，通常使用 CNN 单元对空间域中的时空相关性进行建模，而使用 RNN 单元(一般为长短期记忆（LSTM）单元或门控回归单元(GRU))对时间域中的时空相关性进行建模。近年来，卷积长短期记忆网络（ConvLSTM）单元[7]/卷积门控回归单元（ConvGRU， RNN 的变体）[50]因其具有同时对空间和时间相关性建模的能力而受到关注。然而，迭代过程(每一步依赖于前一步)使得 RNN 的训练效率低下，无法充分处理长期相关性[5]。在序列数据的其他研究中，如 NLP 域(如机器翻译[20]、会话建模[16]等) ，解决方案是用注意机制增强或替代 RNNs [3,33]。受此启发，我们设计了一个基于注意机制的不含RNNs 单元的 MsCPDP DNNs 模型，并验证了其有效性。
2.3 神经网络中的注意力机制
在最近的研究中，注意机制在处理机器翻译[33]、语音识别[6]、图像字幕生成[35]、图像生成[40]等方面取得了成功。这背后的想法是，输入的某些部分可能更相关，并且在生成输出时应该与其他部分相比较。与单纯使用 CNNs 或 RNNs 相比，注意力机制通过构建全局时空相关性并选择相关内容，直接扩展了接受域，符合深度学习的发展趋势[5]。
将注意机制应用于多步时空数据预测的研究也引起了人们的关注，例如，在预测地理感知时间序列时，[18]中提出了多层次注意机制来建立动态时空相关性模型，Zhou 等人的[46] ，Zonoozi 等人[50]引入了一种注意模型，将全市范围内人群流动的代表性模式或周期性模式纳入到预测中。虽然这些工作是最早将注意力机制应用于多步时空数据预测的工作，但是空间和时间注意力机制是分离的，或者仅应用于外部特征(例如，周期性模式[50]或代表性模式[46]) ，并且整合了RNNs。本文设计了一种时空混合注意力机制，且预测模型中不含RNNs 单元。
3 问题定义
与[41,42,46,50]进行全市范围内的预测工作类似，首先将一个城市划分为矩形网格，然后利用 MsCPDP对给定的多个连续时段内每个网格的乘客接送需求进行预测(如图 1c所示).
本文根据经纬度将城市划分为 ptimes;q 网格地图。因此,一个城市可以表示G=，其中表示一个网格，即城市的一个区域，位于第 r 行和第 c 列。
定义1: 观测时间单位。是汇总乘客接送计数的观测时间单位，例如30分钟或1小时，令T=[,,...,,...,]是整个观测时间周期。
定义2：乘客接送需求。= isin;记录每个网格在时间段内接乘客数量,,同样的，= []ptimes;q 记录下车数量。用=[( , )]ptimes;q isin; Nptimes;qtimes;2把和叠加在一起记录时间段内的接送数量。
问题：多步骤的全市乘客需求预测问题。给定历史观测值 ={ |iisin;[0,1，... ，n-1]} ，预测 ={| j isin;[ n，n 1，... ，n -1]} ，目标是最小化均方根误差(RMSE) :
（1）
是的地面真值，表示要预测的时间步长。
4.提出的方法
显然的，出租车载客需求与下客需求本身往往是相关的。一个地区的大量载客可能会增加在相邻时间里其他地区下车数量。相应地，在那些几个时期以前曾有过大量下客的地区，载客的需求可能也会增加。因此，进一步考虑到一个城市道路网络的发达程度，在预测区域的乘客的需求时，仅仅考虑与预测区域相邻的地区或最后观测时间单位是不够的。较远的区域和较早的观测时间单位应该得到相对较多或较少的关注。 此外，由于城市的不均匀活动水平和每天的波动，我们的目标是确定城市的哪些部分和哪些周期与预测的时间段内的预测区域更相关。受此启发，我们结合时空注意力机制设计了 MsCPDP 模型，这是与其他 MsCPDP 模型最大的不同之处。
图2显示了ST-Attn 的结构。根据最后步骤的 ={|iisin;[ n-,...,n-1]},预测预期步骤的乘客接送/下车需求的={|jisin;[ n,...,n -1]}。采用了广泛使用的编译码框架。编码器模块将乘客需求张
量(上一个时间步长)的原始输入序列映射到固定维度状态(和)。解码器模块补充信息处理状态---一个预测的结果{ |isin;[n,... ，n -1]}产生未来乘客需求的期望序列的张量 (步骤)。预测结果由预测的时间周期(见4.2)相对应的 stKDE 进行计算,作为多步预测的基本参考。要应用多输出策略，历史平均搭车/下车需求: {|isin;[ n-...，n-1]}和{|isin;[ n，...，n -1]}作为位置编码[33](见第4.5节)。
图2. ST-Attn 的结构
图3. 时空注意力
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[238117]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
