近些年来，可穿戴传感器在健康监测和人机交互应用中越来越普遍。为了提供生理信号的实时监测和分析，可穿戴生物传感器可以实现信号处理的机器学习模型。这样的设备通常在本地或外部使用机器学习模型来进行手势分类。但是，大多数具有本地处理功能的设备在使用过程中无法提供机器学习模型的训练和更新，从而导致这种柔性可穿戴设备的体验感和使用性能仍有很大的改善空间。另外，基于计算机视觉系统需要始终看清用户的手部动作，这在隐私保护方面引起争议。另一方面，基于手套传感器的方案又过于笨重和脆弱。 【研究成果】近日，美国加利福尼亚大学伯克利分校的Ali Moin教授和Jan M. Rabaey教授课题组利用丝网印刷工艺制备了一种可穿戴的表面肌电图生物传感系统，并具有传感器内自学习功能。值得注意的是，该系统在本地实现了神经启发的超维计算算法，用于实时手势分类，并且在各种条件下进行实时的模型训练和更新。当每个手势进行一次试验时，系统可以为两个参与者对13个手势进行分类，准确率达到97.12％。重要的是，作者手势扩展到21个时，仍可获得较高的精度（92.87％），并且可以通过响应变化的条件实施模型更新来恢复9.5％的精度，并且无需在外部设备上进行额外的计算。该工作为设计和制备高精度人体姿态识别工程提供了重要的参考。该工作以标题“Awearable biosensing system with in-sensor adaptive machine learning for handgesture recognition” 发表于国际重要期刊Nature Electronics上。文章的通讯作者为美国加利福尼亚大学伯克利分校的Ali Moin教授和Jan M. Rabaey教授。 【器件的制备】图1 基于表面肌电图的可穿戴生物传感系统。 超维计算是一种新兴的计算范式，支持快速和简单的学习，并且具有固有的抗噪声能力。超维计算利用由非常高维向量表示的信息来执行其他复杂的任务，例如分类或推理，使用简单的计算操作。为了构建实验所需的系统，作者在柔性基板上印刷传感电极阵列，与包含复杂传感、处理和遥测元件的小型印刷电路板(PCB)相结合。这种大面积、高密度的电极阵列有64个通道，采用导电和介电油墨在一块薄的聚对苯二甲酸乙二醇酯（PET）薄片上进行丝网印刷而成。PET片材具有很高的柔韧性，在收缩和放松时很好地符合前臂肌肉的复杂三维（3D）形式。【手势变化与表面肌电的关系】图2 研究中使用的手势类型和表面肌电记录特征。 利用该系统，作者收集并分析了来自五名参与者的离线表面肌电数据。数据集包括不同手指自由度的弯曲和伸展，其中单自由度手势在四种不同的环境中执行，多自由度手势仅在环境基线中执行。实验中要求每个参与者都戴着这个装置，阵列的中心与他们主要手臂的尺骨大致对齐。在每个电极上滴一滴导电凝胶，以改善皮肤接触和附着力。从中指自由度弯曲和伸展过程中的64个通道记录的示例波形可得到表面肌电的局部振幅。【传感器分类性能】图3 在基线环境中的实时传感器分类性能。 参与者被要求在2 s的间隔内更换一个手势，并保持4 s的稳定状态，在第二个过渡期内放松到休息姿势，每个手势之间有3 s的放松。虽然分类模型并没有根据试验之间的手势转换或放松等数据进行训练，但在这些时间段内，该设备仍在进行推算。通过环境基线测试的手势起始和偏移的预测，在放松期（在此期间，预测应为静止手势）期间，手势表现前后的错误率较高，建议将手势动作之间的短时间作为训练数据，以提高手势的精准度。由于作者设计的超向量投影算法编码的是相对特征值而不是绝对特征值，所以静止状态的分类本质上更加困难。此外，手势转换会产生错误，从手势开始（包括算法延迟）大约需要500 ms才能达到80%的分类准确率。【不同手势及其准确性的关系】图4人体佩戴传感器训练、更新和分类结果。 作者首先测试了一个只有单自由度手势子集的初始模型，并获得了98.34 %的平均分类准确率。作者探索的环境变化对器件性能的影响，其中包括手臂姿势变化，设备脱下并重新戴上（间隔时间>16小时，平均19小时），以及在进行日常活动时佩戴设备持续2小时。值得注意的是，在新的环境中对模型进行测试，发现期间发生了平均11.89 %的精确度下降。然后在新的环境中更新模型并再次测试，确定手臂位置的情况后，更新后的模型也在初始环境中进行了测试。在每种情况下，通过更新模型以适应新的环境后，准确度都得到了恢复，与初始模型相比，平均提高了9.50%。【研究小结】作者采用简单的丝网印刷工艺制备得到能精确感知人体手势的柔性生物传感器。该生物传感系统佩戴舒适，提供快速的动态适应能力，这对可穿戴人机界面应用至关重要。与其他最先进的手势识别系统相比，该设备可以在本地和实时地执行训练、推理和模型更新，以适应不断变化的环境。尽管该电极阵列几何结构是为前臂表面肌电采集而设计的，但低成本和低复杂度的丝网印刷工艺可用于创建与人体其他部位连接的图案。全文链接：Moin, A., Zhou, A.,Rahimi, A. et al. A wearable biosensing system with in-sensor adaptive machinelearning for hand gesture recognition. Nat Electron (2020).https://doi.org/10.1038/s41928-020-00510-8来源：高分子科学前沿 声明：仅代表作者个人观点，作者水平有限，如有不科学之处，请在下方留言指正！投稿模板：单篇报道：上海交通大学周涵、范同祥《PNAS》：薄膜一贴，从此降温不用电！系统报道：加拿大最年轻的两院院士陈忠伟团队能源领域成果集锦历史进展：经典回顾| 聚集诱导发光的开山之作：一篇《CC》，开启中国人引领世界新领域！