交通预测因其在智慧城市应用中的重要作用而越来越受到关注。为了实现精确预测，大量的方法被提出用来模拟空间依赖性和时间动态。尽管这些方法具有出色的性能，但大多数现有研究都集中在大地理尺度的数据集上，例如全市范围，而忽略了特定区域的结果。然而，在许多情况下，例如，在瞬态道路网络上进行路线规划时，只有小区域值得关注。本次为大家带来数据库领域顶级会议ICDE2023的论文：《ROI-demand Traffic Prediction: A Pre-train, Query and Fine-tune
Framework》。移动计算的进步极大地提高了时空信息的数量和粒度。除了在城市甚至整个州收集的数据外，我们还可以获取大量交通数据，这些数据的精细度达到了感兴趣区域（region of interest, ROI）的级别。ROI是由许多相邻的对象组成的，比如道路段或者一些有趣的地方。然而，目前大多数研究侧重于优化和评估模型对大范围区域的预测，而对于感兴趣区域（ROI）的模型性能却被忽视了。在某些场景中，这可能并不有效，特别是当我们只关心大区域（例如，大约有10000个对象）中的一个小区域（例如，大约有100个对象）的时候。例如，在实时变化的网络上进行导航只需要知道计划路线周围道路段的未来交通状况。在一个已知的大区域中给定任何感兴趣区域，我们将基于历史数据预测其未来交通的任务称为ROI需求交通预测（RTP）。RTP要求模型在查询任何ROI时表现良好且响应迅速，这是难以预测的且ROI区域大小是任意的。以下是RTP问题的难点，并且这很难通过简单扩展现有解决方案来解决：首先，ROI具有多样的时空模型。全局训练的模型虽然能很好适应所有模型，但会牺牲预测精度。为了在每个具体的ROI上实现准确的预测，更好的解决方案是分别为每个ROI训练一个独立的模型。其次，由于用户需求的不同，ROI的达到方式是不可预测的，并且需要实时预测。与全局训练模型相比，个体训练模型虽然精度较高，但其耗时，因为它需要在查询的ROI达到时进行训练，而这与实施预测的要求相悖。第三，对于一个ROI的预测查询，最佳输入是事先未知的。对于只包含少数对象的ROI，使用整个区域的数据作为输入显然会导致冗余。这是因为对于任意两个对象，随着它们彼此之间的距离增大，交通状况的依赖性会减小。例如，香港的尖沙咀的交通几乎不依赖于香港的清水湾，因为后者位于乡村地区。然而，仅使用ROI的数据可能不足以进行精确的预测，因为ROI并不与区域中的其他对象隔离。因此选择最佳的输入是困难的。为了解决上述挑战，论文提出了一个称为“预训练、查询和微调（pre-Train,
Query and fine-Tune, TQT）”的框架，该框架提供了有效、高效并且于模型无关的ROI需求交通预测。TQT包括两个阶段：离线和在线。在离线阶段，我们将ROI视为图，由对象（节点）和它们之间的连接关系（边）组成，基于广泛假定的图结构数据的本地依赖性，利用扩展选择模型为每个ROI选择有用的输入。同时，在离线阶段也可进行预训练，修改给定的骨干模型（比如LSTM）的输入和输出层，以适应不同ROI的各种对象数量。在现阶段，在预训练的骨干模型和扩展选择模型的基础上，作者提出一种注重关注的微调策略，以实现对查询ROI和选定输入数据的快速而有效的模型专业化。由于TQT的特征独立于骨干模型，大多数深度交通预测模型都可以作为插件应用于该框架。TQT的整体流程概览如图1所示。- 作者引入了一种新颖且实用的问题设置，即ROI需求流量预测。
- 作者通过预训练和微调的视角来解决这个问题，并提出一个与模型无关的框架，该框架可以很容易地适应大多数深度流量预测模型，只需稍作修改。
- 作者提出一种扩展选择模型，该模型利用ROI的时空信息对预测进行专业化处理，从而在提高预测精度的同时大大减少冗余。
- 对两个真实世界数据集和四个骨干模型的全面实验评估表明，TQT在预测准确性方面能够极大地弥补全局和个体训练方法之间的差距，同时在在线阶段具有显著更快的模型更新速度。
二．定义
定义1. 区域：给定流量数据集中所有对象的集合，表示为
。定义2. 感兴趣区域（ROI）：从该区域中抽样的感兴趣区域（ROI）可以被描述为一个包含对象的多边形区域，即
。ROI中的对象属于特定的类别，例如兴趣点（POIs）或道路段，并具有特定的地理特征，例如POIs的位置，道路段的长度和索引。定义3.边界对象：对于ROI中的一个对象，如果它与区域中但不在ROI内的任何其他对象相连接，那么它是一个边界对象。定义4.
ROI扩展：给定一个ROI，从ROI外部添加满足特定条件的对象，即扩展准则的对象，形成了一个ROI扩展。定义5. ROI需求流量预测：给定区域
，对于其中的任何感兴趣区域Ri，其中对象数量表示为ni，相应的历史数据表示为Xi，ROI需求交通预测的目标是预测ni个对象在Δ个时间步之后的未来值，即
。其使用历史序列窗口大小为w，即
，表示使用区域中对象的历史数据。三．预训练、查询和微调框架
为了对ROI进行未来交通预测，作者希望选择与该区域相关且有用的数据。为了实现这个目标，作者提出一个任务，即搜索有用的扩展。在该任务中，作者通过在ROI外部添加更多对象来扩展ROI，并使用扩展后的ROI区域作为交通预测模型的输入。该训练过程可以离线进行，如图2左侧所示。为了解决最佳扩展的搜索空间较大的问题，作者考虑了ROI的交通模式具有本地依赖性，即该区域附近的对象对其交通情况有影响。因此，作者采用了一些扩展准则，例如在一定距离内或一定跳数内添加对象。为了估计扩展的有用性，作者进行软估计：预测哪些扩展可能是最好的，或者哪些扩展可能比其他扩展更好。假设对于第i个样本（ROI），其应该有N个扩展，获得的度量指标为向量
。然后可以处理si来获得二值化标签
以反应前k个状态：
其中
是标签向量的第j个条目，topk(si)表示si中前k个最佳的条目。作者用表示学习的方式表征查询ROI，从其历史交通数据中计算出一个表示向量。获得的ROI表示将用于估计扩展的有用性。对象表示学习。我们希望通过学习历史交通数据中感兴趣区域中对象的表示来进行交通预测。有两种主要的研究方法：一种分别对空间和时间特征进行建模，另一种通过使用注意力机制来联合学习时空依赖性。考虑到在感兴趣区域预测中需要及时处理查询，而感兴趣区域中的对象通常较少，作者选择了一种联合建模方法。对于一个评估的感兴趣区域R和时间步骤t，即
，作者首先沿时间轴使用具有K个内核大小的d个过滤器的1dConv来获得时间序列的时间嵌入，将数据从输入空间转换为密集的潜在空间。这样的操作可以表示为：
，其中i是指时间序列的第i个位置，X(i:i+K)是指与核K一起卷积的上下文，Wj和bj分别是权重和偏置。然后，作者将这个嵌入表示进行形状调整，再使用多头注意力机制，以捕捉感兴趣区域中对象的时空依赖性。这种方法能够更有效地学习感兴趣区域中对象的特征，用于后续的交通预测。类型感知分层图池。在将一系列原始数字交通数据处理成一系列表示向量（节点级嵌入）后，作者使用图池化技术获取ROI的表示。传统的图池化在处理图结构信息时可能不够灵活，所以作者采用了类型感知的层次图池化方法。这种方法考虑了ROI中对象的不同类型（例如不同类型的道路），并在学习过程中利用这些类型信息。作者利用最近时间实例的嵌入作为对象的表示，即
，其中
学习块的最后一层。将每个对象作为节点
，并将对象之间的连接性作为边E，我们可以构建一个图G=(V,E)。如果(i,j)∈E，记A(0)ij=1，否则则为0。再引入另一个矩阵S(0)来表示节点类型，如果i是第k种类型，则S(0)ki=1，否则则为0。于是，数据可以表示为D=(A(0),S(0),H(0))。对于池化单元的第(l+1)层，粗化节点的嵌入可以表示为：
其中，σ是激活函数，n(l)是手动设置的第l层的节点数，对于最后一层应设置为1且n(l)>n(l+1)。Wa(l)是一个可学习的参数矩阵,
是归一化后的相应矩阵，
是
的第i行，Si,:是S的第i行，u是归一化函数，其中u(x)=x/||x||2。对于(l)>(o)，A和S可以动态学习：
其中，
和
是可训练权重。获得了ROI表示后，作者使用一个两层的MLP作为扩展有用性的估计器。也可以直接应用其他实现方式：
，其中
和
是权重参数，
和
是偏差。然后，估计器将与具有二元交叉熵损失的表示学习模型联合训练。在训练结束时可以获得一个扩展选择模型，如果给定任何ROI的历史数据，该模型能够估计有用性。
该部分重点介绍训练骨干（图2右侧的蓝色网络）的调优，其中模型预计将更新有限数量的模型参数以快速适应查询ROI，即尽可能快地接近单独训练的模型。在线阶段如图3所示。设计这样的专业化流量预测模型需要主要考虑两个因素：输入形状对齐和调优策略。为了使预训练的骨干能够处理所有形状的输入，作者建议在骨干模型的外部添加变换层作为输入和输出层。数学上，将骨干模型表示为：
，查询的输入为
，预期输出为
，重塑层的作用如下：
参数化的1层线性投影实现fi和fo，因此它可以在随后的微调模块中进行训练，并且易于实现。fi和fo也可以通过平均池化、最大池化和卷积等其他方式实现。微调策略可以适应仅选择单个扩展或多个扩展的场景。当只选择单个扩展时，可以加载预训练的主干，冻结其中间层并调整浅层输入和输出层。当选择多个扩展时，可以对每个扩展加载一个交通预测骨干，再使用可训练的权重层对获得的预测进行加权，该层充当类似于注意力的机制，并对最终输出进行求和。基于合成预测计算均方误差的预测损失，并联合更新模型参数。
实验采用了两个真实的流量数据集BJFlow和CDSpeed。BJFlow包含2016年5月1日至2016年7月31日期间在中国北京收集的各种车辆（即出租车和私家车）的轨迹。CDSpeed包含2016年11月1日至2016年11月30日滴滴出租车司机在中国成都的乘车情况。实验采用平均绝对误差（MAE）、相对平方误差（RRSE）和相关性（CORR）来衡量预测的有效性。所有实验均在一个Intel (R)
Xeon(R) Gold 6278C CPU @ 2.60GHz和一个NVIDIA GeForce
RTX 2080 GPU 上实现。实验与全局训练（GLB Train）和个体训练(IDV Train)两个基线进行比较。全局训练使用整个区域的数据进行训练。个体训练是指，当查询ROI到达时再将其从整个区域中提取出其流量数据，并基于该数据训练单独的模型。为了验证所提出的框架的有效性，我们从每个数据集中随机抽取了 100 个 ROI 作为查询，并测量了流量预测性能。在表1中展示了BJFlow数据集每个ROI性能的平均值和标准差。可以看出，TQT在MAE、RRSE和CORR方面分别弥补了高达228%、217%和317%的差距。CDSpeed数据集的结果趋势也类似于BJFlow。
该论文介绍了一种新颖且实用的流量预测设置，称为 ROI-demand 流量预测（RTP），其中模型有望响应来自任何查询 ROI 的预测请求。作者提出了TQT，这是一个预训练、查询、微调框架来解决 RTP。为了获得准确有效的预测，给定查询ROI，我们首先使用扩展选择模块为后续的预测任务选择有益的输入数据。然后，根据选定的扩展和预训练的骨干模型进行细心微调。TQT被提出是与模型无关的，这表明了一个广泛的应用场景。对两个真实世界数据集和四个主干的评估验证了 TQT 的模型不可知特征，并表明所提出的模型通过极大地弥补全局和单独训练方法之间的差距而显著优于基线。
| 重庆大学计算机科学与技术（卓越）专业在读大四学生，重庆大学Start Lab成员。 | 
|
重庆大学时空实验室（Spatio-Temporal Art Lab，简称Start Lab），旨在发挥企业和高校的优势，深入探索时空数据收集、存储、管理、挖掘、可视化相关技术，并积极推进学术成果在产业界的落地！年度有2~3名研究生名额，欢迎计算机、GIS等相关专业的学生报考！
