给数据加“噪音”，差分隐私如何保护用户数据安全和隐私

对于一家人工智能公司来说，数据是他们训练、调整算法和模型的关键，也是安身立命之本。但要安全处理数据，并让数据产生自己想要的结果，并不简单。

举个简单的例子，Netflix曾举办了一场根据公开数据推测用户电影评分的比赛（Netflix Prize），公开数据中抹去了可识别用户的信息，但一年后，来自得克萨斯大学奥斯汀分校的两名研究员将公开数据与IMDb（互联网电影数据库）网站公开纪录进行关联，通过差分攻击等手段识别出了匿名用户的身份。三年后，Netflix最终因隐私原因宣布停止该比赛，并付出了九百万美元的高额赔偿金。

对于那些手握大量人口数据的部门，这种攻击可能就是致命的。因为传统的做法是对数据的敏感列作匿名化，但这些做法并不能完全保证数据安全，攻击者还可以对分析结果的差分攻击以及查表撞库等方法反推原数据。

为了应对攻击，有研究人员提出了一种数据加密技术，称为差分隐私。《MIT科技评论》评选的2020年十大突破技术中，就有差分隐私。《MIT科技评论》认为未来数据保护的难度会越来越高，解决这个问题的方法之一就是差分隐私，这种技术可以建立信任机制。

什么是差分隐私

那么什么是差分隐私？它是一种数学技术，它能够在给数据添加噪声的同时，一直计算隐私提升的程度，从而使得增加“噪音”的过程变得更加严谨。它是对所有数据查询、分析过程进行约束，尽可能减少隐私泄露的风险。

具体的方法，是对原操作中的某些步骤，通过注入噪声、混淆等形式，使得操作得到差分隐私保证。该技术可用于数据采集、数据分析建模、数据/模型发布等阶段。其研究的重点就是如何分配隐私预算，也就是怎么加噪声、加多少噪声，减少对模型有效性的影响，能够得到更加有效的结果，还能防止攻击者通过查询模型而泄露数据隐私。

目前，苹果和Facebook已经使用这种方法来收集聚合数据，而不需要识别特定的用户。比如，苹果公司需要搜集用户数据，了解用户习惯，从而更好地提升用户体验。在这一过程中，利用差分隐私，就可以在不知悉用户隐私的情况下，还能知道用户整体的使用偏好。

这里需要提醒的一点是关于“隐私”的定义。隐私是针对个人的，通过攻击方式获得了一个人的性别是泄露隐私，但是获得整体的性别比例或者一共多少个男性这种不属于泄露隐私范畴。苹果、谷歌、Facebook等公司可能只是需要其用户的性别数量或是比例用于统计分析或者建模，都无需知道每个人的性别，因此，差分隐私可以在保证企业达到分析的目的，又可以保护用户的隐私。

国内AI公司如何使用差分隐私

“相比之下，差分隐私现在肯定还是国外研究地更好一些，因为整个技术在国外关注度更高，而且也更早一些。”第四范式主任科学家涂威威在接受采访时说。

日前，第四范式宣布，其企业级AI平台先知（4Paradigm Sage）已经率先完成ePrivacySeal EU认证，成为国内第一款通过该认证的AI平台产品。ePrivacy是全球数据安全与隐私保护最具权威性的认证机构之一，其认证过程均是按照偶们发布的《通用个人数据保护条例》（简称“GDPR）对于产品的条例逐一审核，认证覆盖面广且细。

差分隐私是在第四范式的产品中就有应用。以医疗为例，利用差分隐私与联邦学习进行融合，拓展到迁移学习领域后，第四范式在和瑞金医院合作的“瑞宁知糖”产品中，将数据较为完善的大型医院中迁移出有价值且受隐私保护的知识，去帮助地方医院、社区医院、体检中心等机构做更加完善。

据涂威威介绍，第四范式对目前的差分隐私技术进一步优化，通过更好的分配隐私预算、更有效的分配噪声等方法，做到了在保护数据隐私的同时，提升分析结果的有效性。目前，该技术可广泛应用于数据收集、数据分析、数据发布等阶段。

另外，值得注意的是，无论是差分隐私还是联邦学习，也都面临着成本、安全、应用等方面的考验。例如成本方面，由于技术门槛较高，其中的技术环节仍需要较多的专家介入到数据预处理、特征工程、模型调参当中。另外，人力的介入又会给数据安全与隐私保护带来一层隐患，每次人工查询操作，均会消耗隐私计算，风险也越大。

为此，第四范式综合了差分隐私、自动化机器学习等技术优势，开辟了自动多方机器学习，让机器自动完成数据预处理、特征工程、模型调参等工作，大幅减少了专家人工的介入，提升安全性的同时，也大幅降低了隐私保护技术的使用门槛。

作者：王心馨

来源：澎湃新闻