科技工作者之家
科技工作者之家APP是专注科技人才，知识分享与人才交流的服务平台。
BAAI
AI 智能模型届又迎来了新的强者。在日前举办的 2021 北京智源大会上，智源人工智能研究院正式发布了悟道 2.0 智能模型。它的参数规模达到了 1.75 万亿，是一年前领域代表 OpenAI GPT-3 的 10 倍。相较 Google 的 Switch Transformers 超级语言模型，悟道 2.0 的参数规模也要多出 1,500 亿。值得一提的是，距离悟道 1.0 登场其实才过去了不到三个月的时间。在这过程中，模型的训练方向也从原来主要以中文文本为主，变成了文本与视觉集合，因而悟道 2.0 可以用于更多不同任务，通用性得到进一步提升。
智源新研发的 FastMoE 技术，是悟道 2.0 能成为兆级模型的关键。Google 目前所采用的 MoE（Mixture of Experts）方案，因其分布式训练框架和定制硬件需求，而使得大多数人都无法获得使用与研究的机会。悟道的 FastMoE 则是首个支持 PyTorch 框架的 MoE 系统，它具备「简单易用、灵活、高性能」等特点，而且支持大规模并行训练及 Switch、Gshard 等复杂均衡策略。相较之下，能提供更低的门槛和更多的弹性。
根据智源的介绍，悟道 2.0「在诗词创作、做对联、文本摘要、人设问答、绘画等方面都已接近突破图灵测试」。在大会上官方还展示了与小冰公司（源自微软）合力开发的虚拟学生「华智冰」，其发展方向是在多项认知智能上超越人类，在识别基础上还要有创造能力，以帮助 AI「从感知智能向认知智能时代迈进」。
内容来源：engadget
来源：engadget
原文链接：http://cn.engadget.com/chinas-gigantic-multi-modal-ai-is-no-one-trick-pony-070058215.html
版权声明：除非特别注明，本站所载内容来源于互联网、微信公众号等公开渠道，不代表本站观点，仅供参考、交流、公益传播之目的。转载的稿件版权归原作者或机构所有，如有侵权，请联系删除。
电话：（010）86409582
邮箱：kejie@scimall.org.cn
微信
科技工作者之家
京公网安备11010202008424号
