【院士风采】何积丰院士：构建安全可信的人工智能

来源：江苏省科协

智能机器人、无人驾驶、人脸识别……当人工智能时代来临，这些“智慧”的技术，是否可信安全呢？12月3日，在第二届江苏省人工智能大会开幕式暨主论坛上，中国科学院院士何积丰带来主旨报告《可信人工智能》。他表示，随着人类生活被人工智能广泛渗透，公众接受人工智能的程度也越来越高，随之而来的就是人工智能的可信问题。

▲中国科学院院士何积丰

“可信”是人工智能发展核心

何积丰说，“可信”是计算机领域的一个概念，主要强调的是计算机系统和其处理过程的可预测性、可验证性。可信人工智能由我国提出，并在G20会议上被各国所认可，这也是关注人工智能发展的核心所在。

何积丰在报告中表示，其实关于人工智能可信的问题，世界上已经有了不少案例。“比如特斯拉‘自动驾驶’致死事故，原因在于人工智能未能识别道路清扫车；聊天机器人被黑客教会种族主义，经过训练以后‘懂得’了黑人与白人之间的差别，这种聊天机器人显然不符合伦理道德，更不符合公正公平；达芬奇机器人在手术中，由于被病人的血溅到了摄像头，导致机器人‘失明’，感知系统无法正常工作……”

是什么原因导致了这些事故的发生呢？“主要因为这些突发的场景并不在训练范围，机器也就无法从容应对。而人工智能如果被赋予情感，则超出了社会伦理范畴。因此，人工智能的创新和安全应是平衡发展。”人、机、物融合是当前社会面临的一个很重要的系统状态。如果把人、机、物中间的物理运动以及众多事件进行组合，如何进行系统性的训练和测试尤为重要。

人工智能的安全发展“内忧外患”

在何积丰看来，人工智能的安全发展面临着“内忧外患”，对内要处理数据偏差、系统失误等情况，对外则要应对黑客攻击、场景受限等问题。他解释，人工智能系统与传统的软件系统有很大区别，这使得其安全发展面临一系列新挑战。例如，科学家训练人工智能算法时会设置奖励函数，以帮助算法学得更好。但在实践中，人工智能也闹出了不少笑话：一个机械手被要求把木块挪到桌子的指定地点，于是机械手学会了挪桌子；让程序学习检测皮肤癌，程序却发现恶性皮肤病变的照片里往往放着一把尺子，便以尺子来作为判断标准。

“奖励函数选择合理性在哪里？什么情况下可以扩展人工智能的功能和使用范围？怎么实现安全监管？”何积丰说，奖励函数的错误解读，就是人工智能“内忧”问题中的一个典型。“传统软件里面有目标系统，系统的可能行为一般是能够进行描述的。换句话说，用户有明确的要求，系统应该给我完成什么任务？但是机器学习的目标系统行为与样本选择有关，没办法验证，也没办法进行有效的分析。”

如何保证人工智能安全可控？

何积丰表示，人工智能是一种“赋能”技术，并非一门学科。人工智能能够与行业、社会治理结合，具备新的赋能功能。因此，对于其安全问题，应该从两个层面来讨论，一层是人工智能技术本身的安全问题，一层是人工智能与行业结合后的潜在风险。以网络安全为例，他认为，人工智能很多目前应用到一线的产品，其实效果远未达到理想状态，尤其是算法、算力、网络体系和数据体系的安全性等，比如，数据传输过程中会不会被篡改，很难去验证。

另外，人工智能的“可信”，也需要建立相应的法律、法规、标准和社会伦理准则。比如，对数据进行分类，规定这个数据哪些地方能用，哪些地方不能用。人类应该为人工智能技术的开发设定边界，不能做无限开发。

此外，何积丰指出，现阶段人工智能的通用性较弱，行业应用场景差异较大，技术大规模的普及应用仍未真正实现。因此需要有更多的技术推动人工智能通用发展，此趋势不可阻挡，不仅是技术发展的需求，更是整个社会经济发展的需求。

“很多人担心人工智能会不会带来失业潮，机器人会不会取代人的工作，其实这些消息都有些夸大。”何积丰表示，很多职业其实是被时代发展而淘汰的，机器人只是取代了一些简单、重复的劳动，还有部分高危、人类不愿意参与的工作等等。与此同时，技术的发展也带来新的就业机会和新的职业。同时，我们也不必纠结于究竟何时能够实现真正的人工智能，去为它划定时间界限，当技术发展到一定阶段，人工智能足够安全，可以被人们信任、接受时，这样的可信人工智能时代自然会到来。(作者：陶韬)