剑桥大学AI“偷听”算法：按屏幕听声音，手机密码不保

新智元

新智元报道

来源：arxiv、venturebeat

编辑：金磊、肖琴、元子

【新智元导读】获取用户在虚拟屏幕上的文本输入，需要克服两个难题：首先是通过声音判断敲击的位置；其次是消除噪音干扰。剑桥大学的研究人员设计了一个AI“偷听”算法，可以通过监听手指敲击屏幕的声音窃取手机密码。

盗取密码，只要听听你敲键盘的声音就够了。

曾经，通过键盘记录程序来盗取密码就已经非常可怕了；然而，现在更骇人听闻的黑科技诞生了！

剑桥大学的研究人员设计了一个AI“偷听”算法，只需要通过监听手指敲击屏幕的声音，就能够窃取到手机密码：

论文地址：

https://arxiv.org/pdf/1903.11137.pdf

这个新颖的攻击方法的原理是将手指敲击屏幕所产生的声音，在虚拟键盘上恢复成对应的输入字符。

论文作者表示：

敲击屏幕的声波可以通过设备的麦克风进行恢复，就像“听到”了手指的触摸一样，虚拟屏幕上声波的失真的这一特征便是敲击键盘的位置。因此，只需要通过内置麦克风录下声音，恶意程序就可以在用户输入时推断出对应的字符。

实验原理

针对键盘的声学攻击并不新鲜。

利用麦克风，根据键盘独特的物理特性或缺陷来识别物理按键的方法已经很成熟了，但是在虚拟键盘的识别上存在着很大的困难。因为虚拟键盘上的点击发生在同一个表面上，需要通过一些特殊的方法来确定手指敲击的位置。

剑桥大学的研究团队开发了一款app，可以复原敲击的声音，并将其与击键联系起来。该程序使用的机器学习算法是离线训练的，并针对特定的智能手机或平板电脑模型进行调整。

这个算法需要克服一个重大的工程挑战在于：如何解释敲击时，指尖所产生的干扰振动。事实上，当用手指敲击屏幕的时候，声波不仅在空气中传播，更重要的是在设备本身之间传播。敲击会导致屏幕震动，而这种震动模式，可以被多麦克风捕获并进行区分。

实际应用场景中，噪声会极大的影响麦克风对敲击声的探测。为了解决这一问题，研究人员将反馈声音与振动反馈进行交叉关联，消除振动反馈的歧义，同时除去了振动数据。

结果显示，对于平板电脑，在20次尝试中回收了200个4位pin码中的61%，即使模型没有使用受害者的数据进行训练；对于智能手机，恢复了9个大小为7-13个字母的单词，在一个常见的侧通道攻击基准中尝试了50次。

实验设计

实验设置

剑桥研究团队开发了一个 Android 应用程序，参与者分别使用全键盘和9宫格数字键盘输入单词、任意数字或4位数字（PIN码），横屏或者竖屏都可以。该app应用程序通过内置麦克风收集音频。

9宫格数字键盘的尺寸和形态是固定的，因此只需要在智能手机上测试竖屏状态下的数字输入即可。而全键盘则需要在手机和平板上，对横屏和竖屏状态分别进行测试。

参与测试的志愿者在三个不同的地方完成了这项任务，分别是

公共休息室。背景中有人在聊天，偶尔会有一台咖啡机做咖啡的吵声
阅览室。背景中人们要么在电脑上打字，要么用很轻的声音说话
图书馆。都很安静，但是附近的笔记本电脑持续发出咔哒咔哒的声音

这三个地方都开着窗户，因此室外的噪音也掺杂其中。

空气中声音的速度取决于温度，因此数据只在白天室内收集，温度在22-25摄氏度之间。实验设备关闭了所有运行中的其他app，只打开实验用的app。

实验使用的设备Nexus 5和Nexus 9，尺寸分别为137.84mm×69.17mm×8.59mm和228.2mm×153.7mm×8mm。两款设备都有两个麦克风，拥有标准的采样率。Nexus 5的主麦克风位于设备底部，副麦克风位于顶部。Nexus 9一个在底部，另一个在右侧。两台设备均基于Android 5.1.1 Lollipop系统，该系统目前市场占有率约20%。