ICLR论文：让AI学会恐惧

在迎合你的口味上，人工智能可能比你父母都了解你。我们可以完全信赖人工智能推荐的饭店、小说、电影。但当涉及到人身财产安全的场景时，人工智能就显得没那么值得信赖了。

人工智能就是一个冷冰冰的系统，它没有感情，不会高兴、愤怒、悲伤或者恐惧。

就目前人工智能完成的各项任务来看，似乎也不太需要AI产生什么感情？但如果我们把视线再往后移一点，就会发现人类其实需要与这些机器建立情感联系。并且可能在某些时候，会要求这些联系是互惠和真实的，就像人与人之间发生的那样。

在和人类产生交互的场景中，比如聊天机器人，可以通过屏幕上的眼睛传递情感，以及合成的语音来表达情绪。当你表现的低落时，它会安慰你；当你表现的高兴时，它会激励你，你会被它感染。尤其是当被用来照顾人类的时候。你会觉得面对的不是一个冷冰冰的机器，而是能够满足内心情感的一个对象。

但这并不意味着人工智能“具有情感”，只不过是人工智能应用的产品经理，按照社会工程学玩的一些小伎俩。换句话说，机器不一定是移情，它们只需要看似移情。

情绪有助于人们决定什么是重要的，并将复杂的信息整合到关键决策中。 因此，尝试制造具有情感的机器人应该是有用的。

从人类物种的优势来看，一些观点认为，如果人工智能系统有情感，他们就会富有同情心，也许会避免一些让人担心的事情发生，比如，自动驾驶撞到人。

人自主神经系统（ANS）由两个分支组成。其中交感神经系统（SNS）用于应对潜在的危险情况，会针对眼前的威胁会减少或绕过意识做出快速决策，保护自己免受危险。

人类本能的会根据情绪做出不同的反应。虽然这些预期反应的主要作用是帮助人们做好行动准备，但同时也在我们对当前处境做出评估的时候，发挥作用。

感官刺激、生理反应和认知评估的组合，形成影响人类学习、计划和决策。例如当我们心跳加速、手心出汗表示出内心的“恐惧”时，本能可能会希望采取行动，逃离当前处境。此时如果要打断这种逃避心理，就需要有明确目标的外在动机。

开车，是非常典型的依赖于本能和外在动机并会出现重大的生理变化的例子。当我们飙车的时候可能会处于一种高度觉醒的状态，比如在撞人之前会感受到极大的紧张从而开始迅速打轮避开。这种奖励机制，显然要优于基于“事后诸葛亮”形式的奖励机制。

微软的研究人员正在试图教会计算机什么是“恐惧”。他们在ICLR上发表了一篇论文，提出一种强化学习框架。该框架结合了用于实现特定任务目标的奖励函数，并且还最小化了与压力相关的对环境的生理响应的训练成本。

为了验证具有外在和内在成分的这种奖励函数是否在强化学习环境中有用，他们在驾驶任务中，训练了一个加入了真实人类生理反应的模型。

在现实世界中应用RL的主要挑战包括需要大量的训练数据、以及相关的故障案例。例如，当在自动驾驶中使用RL时，奖励通常是稀疏和倾斜的。不良行为可能导致灾难性的后果，并且恢复成本非常昂贵。

RL的大部分工作都是有任务或目标依赖性的，而人类还会根据神经系统的反应做出决策。在强化学习智能体中加入这种机制，有助于降低样本的复杂性。因为奖励可以持续获得，并且在任务结束之前就可以发出成功或失败的信号。这些生理反应信号提供了警告机制，反过来又可以导致更安全的探索。

具体来说，就是考虑一个奖励函数，包含两个元素：外在动机r，用来奖励特定任务的行为；内在本能r˜，用来预测人类对交感神经系统的反馈，并奖励导致放松和减缓焦虑的行为。

为简单起见，本文中只考虑外在动机和本能的奖励的线性组合。在形式上，考虑一个基于带有奖励r的DQN的RL框架，然后使用一个r和r˜的凸组合

公式如下：

其中λ是加权参数，其提供了对任务完成（外在动机）和生理反应（本能）的期望之间的权衡。

在凸几何领域，凸组合（英语：convex combination）指点的线性组合，要求所有系数都非负且和为1。 此处的“点”可以是仿射空间中的任何点，包括向量和标量。

研究人员邀请了4位拥有7年驾龄的老司机，2男2女，并在他们的手指上安装探测机，以记录在驾驶模拟器中的脉搏振幅。并训练了五个模型，每个参与者对应一个模型，另外一个统一面向全部参与者。

针对每种情况下，来自实验记录的前75％的帧作为训练样例，后25％作为测试数据。训练分组中的数据是随机的，并且使用了一个拥有128个实例的batch。

奖励模型训练期间的损失是均方误差。每个模型训练50个时期，之后所有模型的训练均方根误差（RMSE）损失小于0.1。然后在独立测试集上计算RMSE，对于所有参与者，RMSE在0.10和0.19之间。

随机预测的测试损失平均为0.210。在所有情况下，CNN模型损失显著低于随机预测损失（基于未配对的T检验）。

根据Science报道，该实验仍然需要碰撞实验来验证模型的效果，但一个会恐惧的AI需要的碰撞数据，要比无所畏惧的AI少1/4。听起来不错。

那么是否我们就可以认为人工智能产生了像人类一样，真正的恐惧呢？如果人工智能可以产生恐惧，那么是否可以产生其他情绪呢？

要回答这个问题，了解导致情绪和推理的原因非常重要。基本上情绪反应可能是由我们的感官捕获的外部刺激引起的，或者是内部刺激引起的，这可能是体内平衡（身体自动调节系统）的改变或由于我们自己的认知。

处理刺激会在躯体状态下产生非意识水平的变化，这被称为情绪。如果情绪足够强烈，那么就会进行认知，社交，语境和周围相关的评估，我们称之为体验情绪。

研究人类情绪的方法之一是研究人体内发生的无意识和不可控的变化。由于神经图像和神经技术的最新进展，我们可以精确测量这些变化，然后进行研究。

但这其中面临的一些困难，例如反向推理问题（没有与每种情绪相关的特定体细胞模式），主体间变异（没有两个大脑是相同的），以及主体间变异（一个人的大脑变化和进化），导致我们还无法创建一种能够复制人类情绪的算法。

当前标准是使用校准刺激来进行研究，然后应用机器学习算法搜索大脑活动中测量的情绪反应与EEG系统之间的相关性以及图像的分类。随后，计算机程序开发计算模型，用来表示特定人的大脑或神经系统如何对特定刺激（图像）作出反应，从而引发特定情绪。

测量人类情绪模式的最科学方法是采用脑电图，而通过面部特征、皮肤电活动和语音识别也是很好的辅助手段。

但计算模型不是人类的大脑的复刻，而且人类的情绪也取决于对外部世界和内在自我的看法。人类通过感官获得外部世界的感知，对内心的感知则依赖于体内平衡，以及认知。换句话说，计算机不会产生任何源于内省的情绪，因此，很难感受到爱或嫉妒。

一个亿Ray Kurzweil预测计算机将在2029年通过图灵的测试，表现出与人类无法区分的智能行为，其中就包括展现出自我意识以及丰富的情感。

十年后，准备迎接一个觉醒的人工智能吧！

论文地址：

https://openreview.net/pdf?id=SyNvti09KQ