CCCF专题 | 移动端智能计算

过去十年，手机、可穿戴设备、无人机、无人车、机器人等移动终端设备得到了快速发展，设备类型和数量日益增长，计算、内存、通信等资源日益丰富。随着移动终端设备硬件能力的大幅提升，在移动端设备上进行智能化的数据处理（例如特征计算、模型推断和模型训练）成为新趋势。人脸识别、语音识别、交互式商品推荐等端智能技术在智慧零售、智能家居、智能交通等场景中得到了越来越多的应用，为人们的日常生活带来了极大的便利，也深刻改变了产业形态，推动了产业的转型升级。

与传统的基于服务端的云智能相比，端智能具有以下核心优势。（1）服务模型个性精准：一方面，端上保存了更完整、更实时的用户数据，用于模型的推断和训练，可以大幅提升模型准确率；另一方面，端上训练使得每个终端可以拥有针对其本地数据分布的个性化模型，而非统一的全局模型，推断更为精准。（2）实时性高：本地终端设备利用模型直接处理数据，可节省网络传输时间，规避无线网络的不稳定性，及时响应终端用户。（3）隐私安全性强：数据从产生到处理的整条链路都在终端本地设备上完成，避免了将敏感隐私数据传输到云服务端以及将数据存储在云服务端可能引起的安全风险。

尽管端智能具有众多优势，但目前仍面临以下关键挑战。（1）移动终端设备资源受限且性能差异较大：复杂模型的推断和训练发生在大规模的终端设备上，需要考虑设备的资源限制和异构性，以及资源受限所导致的设备易掉线问题，还应考虑设备异构性造成的快慢机等诸多问题；（2）数据异质性高：数据分布在海量的终端设备上，造成了数据量分布不均衡、数据特征差异大和数据可用性不规律等问题；（3）终端设备可靠性低：不同于云服务器完全受数据中心控制、可靠性高的特点，终端设备可控性低、可靠性差，易受攻击成为恶意节点；（4）工程基础薄弱：相比于云智能，端智能起步较晚，缺乏支撑移动终端设备的基础工程体系和硬件架构，包括端上训练、端云通信、云端协同等代码框架，以及支撑移动端模型推断和模型训练的专用加速芯片。

本期专题围绕“移动端智能计算”这一主题，邀请学术界和产业界从事该方向研究和应用的5个知名团队的专家撰稿，深入探讨了在移动端设备上执行机器学习、深度学习等智能数据处理任务的动机、面临的挑战、软硬件方面的进展以及未来的发展方向等内容。

浙江大学吴飞教授团队撰写的《端云协同分布式机器学习：数据要素确权、定价与隐私保护》一文，从端侧数据源对于学习任务价值的度量和保护角度介绍了数据确权、数据定价和隐私计算方面的相关工作，介绍了在端云协同分布式机器学习中起到关键作用的模型聚合算法和知识蒸馏算法，还指出了端侧数据的异质性所造成的模型偏差和公平性问题。

在《移动端智能联合学习》一文中，上海交通大学吴帆教授团队聚焦终端间无须共享原始数据的联合学习框架，阐述了相比于云服务端集中式和分布式学习，联合学习在隐私保护、模型准确性提升、成本降低等方面的优势，介绍了由于移动端设备的资源受限、数据的异质程度高、用户的自主性强等特点造成的技术挑战，并简要回顾了现有的解决方案。文章还介绍了联合学习在谷歌键盘、手机淘宝推荐系统、华为车联网中的应用，并指出了在模型更新聚合、激励机制设计、测试基准制定等方面潜在的研究点。

北京邮电大学徐梦炜教授、领规科技创始人黄康博士、北京大学刘譞哲研究员共同撰写的《面向泛在学习的机器学习系统》一文，指出了机器学习从云服务端到移动终端的大趋势，提出了支持移动端设备的随时随地执行学习任务的泛在学习系统。文章还详细介绍了支撑端上模型推断和模型训练的系统软件的研发目标、当前进展以及未来工作展望。

阿里巴巴集团资深技术专家吕承飞先生带领的端智能团队作为国内该方向的先行者，早在2016年就推出了“拍立淘”应用，并经过多年的探索和实践沉淀出了《阿里巴巴端智能系统》一文。文章总结了端智能应用开发所面临的核心问题和主要挑战，介绍了端智能技术栈的基础层、系统层和方案层，并重点介绍了基础层中处于行业领先地位并开源的端侧深度学习引擎MNN(Mobile Neural Network)。文章还简要介绍了端智能技术栈的应用层中商品推荐、智能投放、AR（增强现实）商品导购等典型应用场景案例，并指出了端云协同学习这一未来发展方向。

在《移动智能芯片》一文中，中国科学院计算技术研究所杜子东副研究员团队回顾了搭载专用人工智能加速器的移动SoC芯片的发展历程，剖析了算力随销量均匀分布、理论性能满足端上模型推理任务需求、软件生态走向成熟等发展趋势，并指出了移动智能芯片存在的生态碎片化严重、通用性差、调用开销大等问题，展望了支撑端上模型高效训练的架构设计。

本专题的5篇文章从算法理论、系统软件、硬件架构、产业应用等多个不同角度对移动端智能计算面临的问题和挑战进行了剖析，介绍了学术界和工业界的最新动态，给出了一系列创新性的解决方案，也指出了移动端智能计算未来潜在的发展方向。希望本期专题能够为相关领域的同行在理论、技术和实践方面带来启发，同时期待本专题能够起到抛砖引玉的作用，吸引更多的专家、学者和工程师关注，共同推进移动端智能计算技术的发展和应用。

吴帆

CCF高级会员、CCCF专题编委、CCF互联网专委会常务委员。上海交通大学计算机科学与工程系副主任、特聘教授。主要研究方向为无线网络与移动计算。fwu@cs.sjtu.edu.cn

吕承飞

CCF专业会员。阿里巴巴资深技术专家，阿里移动技术小组端智能方向负责人。主要研究方向为端智能技术平台建设，3D、AR等创新应用。chengfei.lcf@alibaba-inc.com