论文标题:Enabling Lightweight Fine-tuning for Pre-trained Language Model Compression based on Matrix Product Operators
论文作者:刘沛羽(中国人民大学)、高泽峰(中国人民大学)、赵鑫(中国人民大学)、谢志远(中国人民大学)、卢仲毅(中国人民大学)、文继荣(中国人民大学)
论文收录:ACL2021 main conference
论文链接:https://arxiv.org/abs/2106.02205
代码链接:https://github.com/ RUCAIBox/MPOP
受到量子力学中处理量子多体问题的矩阵乘积算符(MPO)的启发,本文提出了一种新颖的预训练语言模型压缩方法,实现轻量化微调的同时压缩模型参数的效果。
1.引言
2.设计动机和方法
3.实验与分析
参考文献:
[1] Ze-Feng Gao, Song Cheng, Rong-Qiang He, ZY Xie, Hui-Hai Zhao, Zhong-Yi Lu, and Tao Xiang. 2020. Compressing deep neural networks by ma- trix product operators. Physical Review Research, 2(2):023300.
责任编辑:赵中英