科技工作者之家
科技工作者之家APP是专注科技人才，知识分享与人才交流的服务平台。
少样本学习
论文标题：
True Few-Shot Learning with Language Models
论文链接：
https://arxiv.org/abs/2105.11447
代码链接：
https://github.com/ethanjperez/true_few_shot
预训练语言模型 (LM) 在许多任务中表现良好，即使是从少数样本中学习，但之前的工作用许多保留样本微调学习的各方面，如超参数、训练目标和自然语言模板（“提示“）。本文评估了保留样本不可用时，语言模型的少样本能力，并把这种设置称为真少样本学习。测试了两种模型选择标准，交叉验证和最小描述长度，用于在真少样本学习环境中选择语言模型的提示和超参数。
平均来说，这两种方法都略优于随机选择，大大低于基于保留样本的选择。此外，选择标准往往倾向于选择那些表现明显比随机选择更差的模型。即使考虑到在选择过程中对模型真实性能的不确定性，以及改变用于选择的计算量和样本数量，也发现了类似的结果。研究结果表明，考虑到少样本模型选择的难度，之前的工作大大高估了语言模型的真少样本能力。
来源： PaperWeekly
原文链接：http://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247527832&idx=2&sn=68b0d56b411de98f93958e92d20ba1a3
版权声明：除非特别注明，本站所载内容来源于互联网、微信公众号等公开渠道，不代表本站观点，仅供参考、交流、公益传播之目的。转载的稿件版权归原作者或机构所有，如有侵权，请联系删除。
电话：（010）86409582
邮箱：kejie@scimall.org.cn
微信
科技工作者之家
京公网安备11010202008424号
