题目：由时空轨迹预训练上下文与时间敏感的地点嵌入（Pre-training Context and Time Aware Location Embeddings from Spatial-Temporal Trajectories for User Next Location Prediction）作者：林彦（北京交通大学），万怀宇（北京交通大学），郭晟楠（北京交通大学），林友芳（北京交通大学）会议：AAAI Conference on Artificial Intelligence, 2021.
另一方面，多功能地点在现实世界中十分常见。例如，一个大型购物中心可能包含饭店和电影院，一栋办公楼可能拥有健身房。用户在不同上下文环境下访问同一个地点，目的也不尽相同。因此，将目标地点特定的上下文邻居融入到其嵌入表示中，可以得到更准确的地点嵌入表示。然而，现有基于分布式词嵌入的地点嵌入模型仅为每个地点分配一条嵌入表示向量，无法对不同的上下文环境进行区分。 为了解决上述问题，本文提出了上下文与时间敏感的地点嵌入（Context and Time aware Location Embedding, CTLE）模型。为了能够将目标地点在轨迹中特定的上下文环境融入到其嵌入向量中，CTLE基于双向Transformer构建编码器，将目标地点及其上下文邻居映射为目标地点对应的嵌入表示。为了融入两方面的时间信息，本文设计了一个时间编码层来建模地点被访问时间的相对差，以及一个Masked Hour（MH）预训练目标来建模地点被访问时间的绝对分布。实验证明，与现有的地点嵌入模型相比，CTLE得到的地点嵌入表示拥有更高的质量，能够帮助下游预测任务取得更高的准确度。相关研究成果Pre-training Context and Time Aware Location Embeddings from Spatial-Temporal Trajectories for User Next Location Prediction发表于2021年的AAAI会议上。