【青年学者风采专栏第三期】- 天津大学张鹏副教授

张鹏，天津大学副教授，计算机学院副院长。2013年毕业于英国罗伯特戈登大学获博士学位（师从宋大为教授），2008年毕业于天津大学获得硕士学位（师从侯越先教授）。入选天津大学-北洋学者青年骨干教师计划、微软亚洲研究院铸星计划。目前，担任中国中文信息学会青年工作委员会委员，中国人工智能学会青年工作委员会委员；曾任第五十七届国际计算语言学协会年会(ACL 2019)领域主席，第十一届亚洲信息检索会议(AIRS 2015) Poster-demo 主席，第八届国际信息检索理论会议(ICTIR 2018)本地主席等。

张鹏副教授长期致力于利用量子理论突破传统检索的理论和技术瓶颈，近几年专注于量子人工智能和自然语言理解的交叉研究方向，发表中科院一二区和CCF A/B类论文40余篇（包括NeurIPS,SIGIR,ICLR, AAAI,IJCAI,ACL,WWW,CIKM, IEEE TNNLS,IEEE TKDE,IP&M,JASIST,Theoretical computer science 等），谷歌学术引用一千余次。获得SIGIR 2017 最佳论文奖提名奖，ECIR 2011 最佳短论文奖，CCIR 2015 最佳学生论文奖，ICLR 2020 亮点论文等学术奖项。微软学术搜索中，在量子信息检索和量子语言模型研究主题下均名列前茅。

     近年来，张鹏副教授主持并参与多项国家自然科学基金项目、国家重点研发计划项目，并与微软亚洲研究院、华为技术有限公司、英国伦敦大学学院等多家研究机构和企业建立了长期的合作和交流，主持多项企业研发科研项目。带领天津大学智能搜索与对话实验室与天津大学心理健康教育中心、起硕（天津）智能科技有限公司共同开发的智能心理健康问答系统——小e机器人，现已投入使用，有助于在校学生更好地了解自己的心理健康状况，及时缓解学业、就业、生活等各方面的压力。

课题组介绍

张鹏副教授所在的量子智能和语言理解课题组，聚焦量子人工智能与自然语言理解，开展以量子认知、量子计算、信息检索、自然语言处理、机器学习为核心的理论研究，扩展语言模型、搜索引擎、问答系统、社会计算等方面的应用研究（图1）。课题组成员包括侯越先教授、曲日教授、王博副教授等。

图1 课题组研究领域

研究领域

21世纪初兴起的量子信息检索以量子理论的数学框架建模人类认知过程中的不确定性，并被应用于信息检索、自然语言处理、机器学习等领域的基础模型。在过去的十几年间，张鹏副教授及其团队以量子信息检索理论、量子语言建模方法、语言模型压缩与结构优化技术为核心进一步拓展量子理论与自然语言理解这一交叉领域的研究，取得具有开创性的研究成果，其主要研究成果如下：

    1.  量子信息检索理论

量子信息检索着眼于建模检索过程中的宏观类量子现象，张鹏副教授提出使用量子概率测量和量子干涉等量子理论建模信息检索过程中相关性匹配，其主要研究成果包括基于光子极化建模文档相关性概率^[1]（ECIR 2011 最佳短论文奖）、基于量子干涉的建模多模态用户认知^[2]和相关性判断^[3]等。最新发表于SIGIR 2020的工作提出基于量子干涉的神经匹配模型^[4]（图2），该模型旨在建模人类检索过程中匹配单元之间的交互信息，并应用于ad-hoc任务中。该论文是继2013年Sordoni, Nie & Bengio（Turing Award获得者）合作发表的量子语言模型一文^[5]之后，时隔7年SIGIR 2020再次录用的关于量子信息检索的长文。

图2 基于量子干涉的神经匹配模型 

    2.  量子语言建模方法

基于量子理论的语言建模是基于认知不确定性所延伸出的交叉研究领域。张鹏副教授积极推进统计语言模型与量子理论相融合，并提出文本生成可以看作纠缠态到文本状态的塌缩^[6]。同时，提出利用密度矩阵变换建模查询意图的不确定性并在会话搜索任务中实现优越的模型性能^[7]。为了探索语言建模与量子理论的本质联系，张鹏副教授通过研究量子多体与神经网络的本质联系解释神经语言模型，进而提出量子多体语言建模技术^[8]（图3）和张量空间语言模型^[9]。相比于原始的量子语言模型，量子多体语言模型在WIKIQA上的 MAP提升28.09%；相比于n-gram语言模型，张量空间语言模型的PPL值降低40.79%。值得注意的是，量子多体语言建模的论文是继2010年格拉斯哥大学van Rijsbergen教授（ACM SIGIR Salton Award获得者）在CIKM发表的量子检索框架一文^[10]之后，时隔8年CIKM再次录用的关于量子信息检索的长文。

图3 量子多体波函数语言建模

    3. 语言模型压缩与结构优化技术

在机器学习的背景下，量子理论的数学框架呈现出值得期待的发展前景。首先，张鹏副教授率先将量子语言模型拓展到神经网络架构下，提出端到端的神经量子语言模型并应用于问答任务^[11]。在此基础上，提出张量化的自注意力机制，大幅压缩预训练语言模型神经网络（Transformer）的参数^[12]；提出基于复数值建模文本语序，提出复数值语言模型^[13]（ICLR 2020 亮点论文）。上述工作不仅具有持续探索的科研价值，更加受到产业界的关注，课题组已与多家公司达成长期合作，加快科研成果快速投入应用。

图4 张量化的Transformer语言模型

更多研究成果，可以关注张鹏老师团队的公众号：

参考文献

[1] Zhao, X., Zhang, P., Song, D., &Hou, Y. (2011, April). A Novel Re-ranking Approach Inspired by QuantumMeasurement. In European Conference on Informatiosn Retrieval (ECIR) (pp. 721-724). Springer, Berlin, Heidelberg. (Best Poster Award)

[2] Zhang, Y., Song, D., Zhang, P., Wang, P., Li, J., Li, X., & Wang, B. (2018). A Quantum-Inspired Multimodal Sentiment Analysis Framework. Theoretical Computer Science, 752, 21-40.

[3] Zhang, P., Song, D., Hou, Y., Wang, J., & Bruza, P. (2010, November). Automata Modeling for Cognitive Interference in Users’ Relevance Judgment. In 2010 AAAI Fall Symposium Series.

[4] Jiang, Y., Zhang, P., Gao, H., & Song, D. A Quantum Interference Inspired Neural Matching Model for Ad-hoc Retrieval. In: Proceedings of the 43th international ACM SIGIR conference on Research and development in information retrieval (SIGIR 2020).

[5] Sordoni A, Nie JY, Bengio Y (2013) Modeling term dependencies with quantum language models for ir. In: Proceedings of the 36th international ACM SIGIR conference on Research and development in information retrieval (SIGIR 2013). ACM, pp 653–662.

[6] Xie, M., Hou, Y., Zhang, P., Li, J., Li, W., & Song, D. (2015, June). Modeling Quantum Entanglements in Quantum Language Models. In Twenty-Fourth International Joint Conference on Artificial Intelligence （IJCAI 2015）.

[7] Li, Q., Li, J., Zhang, P., & Song, D. (2015,). Modeling Multi-query Retrieval Tasks Using Density Matrix Transformation. In Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2015) (pp. 871-874).

[8] Zhang, P., Su, Z., Zhang, L., Wang, B., & Song, D. (2018, October). A Quantum Many-body Wave Function Inspired Language Modeling Approach. In Proceedings of the 27th ACM International Conference on Information and Knowledge Management (CIKM 2018) (pp. 1303-1312).

[9] Zhang, L., Zhang, P., Ma, X., Gu, S., Su, Z., & Song, D. (2019, July). A Generalized Language Model in Tensor Space. In Proceedings ofthe AAAI Conference on Artificial Intelligence(Vol. 33, pp. 7450-7458). (CCF A类)

[10] Piwowarski, B. , Frommholz, I. , Lalmas, M. , & Rijsbergen, K. V. . (2010). What can quantum theory bring to information retrieval. Proceedings of the 19th ACM Conference on Information and Knowledge Management (CIKM 2010), Toronto, Ontario, Canada, October 26-30, 2010. ACM.

[11] Zhang, P., Niu, J., Su, Z., Wang, B., Ma, L., & Song, D.* (2018, April). End-to-End Quantum-like Language Models with Application to Question Answering. In Thirty-Second AAAI Conference on Artificial Intelligence. (CCF A 类)

[12] Ma, X., Zhang, P., Zhang, S., Duan, N., Hou, Y., Zhou, M., & Song, D. (2019). A Tensorized Transformer for Language Modeling. In Advances in Neural Information Processing Systems (NeurIPS 2019) (pp. 2229-2239).

[13] Wang, B., Zhao, D., Lioma, C., Li, Q., Zhang, P., & Simonsen, J. G. (2019). ENCODING WORD ORDER IN COMPLEX EMBEDDINGS (ICLR 2020). arXiv preprint arXiv:1912.12333.

编辑：范意兴，白婷，郑建兴