科技工作者之家
科技工作者之家APP是专注科技人才,知识分享与人才交流的服务平台。
科技工作者之家 2020-04-09
来源:CAA混合智能专委会
海量数据中90%以上是语音、文本、图像、视频等多模态数据。受启发于人类大脑通过视觉、听觉、语言等感知通道获得对世界的统一感知,更高层次的人工智能任务往往涉及更加复杂的、跨越多个模态的信息处理问题,因此,海量多模态数据的智能化处理水平越来越成为人工智能技术发展的重要标志。邓成教授团队重点研究跨模态智能分析及应用,主要涉及两个方面:(1)跨模态紧致表示;(2)跨模态语义推理。
· 跨模态紧致表示
跨模态紧致表示其核心问题是如何有效建立模态之间的互补关联机制,学习跨模态数据的统一紧致表示,进而实现不同模态的语义互通和交叉检索。为此,我们系统研究了跨模态模型设计、跨模态统一表示、跨模态快速检索,重点研究了自监督、无监督模式下的深度跨模态哈希方法。为了克服大规模数据存在的标注数量不足、标注质量有噪等问题,解决常规监督模式下跨模态学习面临的模型训练效率低、学习能力差等弊端,我们首先提出了一种自监督深度哈希方法SSAH,从不同模态之间的标注信息出发,通过构造可靠的辅助知识支路,挖掘跨模态数据之间潜在的共享语义知识,并利用对抗学习将挖掘到的知识嵌入到跨模态哈希学习任务中,大大降低了常规跨模态学习模型对数据标注质量的依赖,提高了学习效率。面对更复杂的无标注跨模态学习问题,我们提出一种无监督深度哈希方法UADH,该方法利用联合对抗学习的思想,构建原始模态数据与哈希码之间双向交互式生成模型,通过自主挖掘数据相似性语义结构,有效保持了模态数据的语义一致性关系。
针对异构模态产生的语义鸿沟问题,我们首先提出了一种语义共享深度跨模态哈希方法。该方法率先提出了模态空间解构的思想,将不同模态数据分别投影到共有空间和私有空间,探讨空间解构对语义一致性的影响,进而实现了跨模态数据的共享语义表达。基于此,我们提出了多任务一致性保持的深度跨模态哈希方法,重点研究跨模态多任务协同学习机制,通过向共有和私有空间嵌入语义分类辅助任务,协助跨模态学习模型获得高层语义一致性表示,从而提高语义判别性。
深度模型的鲁棒性问题近来引起广泛关注。针对现有深度跨模态哈希学习模型鲁棒性差、易受攻击等问题,我们主要研究了对抗样本的产生机理、高效的攻击样本学习模型,以提高检索模型对攻击样本的防御能力。为此,我们提出了一种通用的对抗样本学习方法HAG,通过最大化对抗样本与原始样本在汉明空间中的差异性,并设计哈希掩码矩阵来度量不同哈希维度在优化过程中的重要性,实现了哈希检索中对抗样本的高效学习。进一步,我们提出了一种高效的跨模态对抗样本学习方法CMLA,通过设计模态内语义一致性、模态间语义差异性两种约束,在维持模态内检索性能不变的前提下,成功攻击了跨模态检索模型,获得了更具有攻击性的对抗样本。
“心向往之,行者将至”。跨模态智能的研究尚处于初级阶段,如何利用不同模态数据之间的潜在联系提升智能体对外部世界的感知、认知能力的研究还任重道远,但可以预见,其必将为混合智能的基础研究和应用落地提供智能支撑。祝愿混合智能专委会为我国人工智能与脑认知科学综合交叉研究提供更广阔的舞台。
来源:HAI-CAA2017 CAA混合智能专委会
原文链接:http://mp.weixin.qq.com/s?__biz=MzI4NjcwODgyOA==&mid=2247484972&idx=1&sn=0f44ff67b238bbefc18c7405312fdcd3&chksm=ebd9831fdcae0a093b047e74028645b00cadf889eb76f71a867475e7060150dd16bc12865bca&scene=27#wechat_redirect
版权声明:除非特别注明,本站所载内容来源于互联网、微信公众号等公开渠道,不代表本站观点,仅供参考、交流、公益传播之目的。转载的稿件版权归原作者或机构所有,如有侵权,请联系删除。
电话:(010)86409582
邮箱:kejie@scimall.org.cn
肖仰华:当知识图谱“遇见”深度学习
哈希算法
除了检查语法,用上深度学习的编辑器也能自动优化代码
从哈希到CNN:自动化所提出高精度&低功耗训练方法
哈希浊度仪
延期通知|关于“2021年第十八届全国模态分析与试验学术会议” 延期召开的通知
亚马逊的Alexa的语义分析性能得到大幅度提高
哈希树
英特尔确认 Arc 显卡不会有虚拟加密货币挖矿哈希锁限制
多模态地理大数据时空分析方法及研究方向