多媒体推理与认知 | CNCC2021

多媒体数据是用户信息获取与信息交换的主要对象，多媒体智能应用需求日趋广泛，多媒体数据多源异构且关联复杂，如何实现多媒体内容的全面理解和充分利用是难点问题。近年来，多媒体计算呈现出新的发展动态，各种新思想与新方法不断涌现，多媒体计算正在从感知向认知跨越，引起产业界和学术界极大关注。论坛将讨论概念推理、知识表示、语言问答、因果推理、认知理解、人机协同等新方向，对各研究问题间的关系进行梳理和总结，探讨多媒体推理与认知研究方向中的可解释性、数据驱动和知识引导、常识建模、主动学习、跨模态关系推理等相关问题，以期碰撞出火花、引起更深入思考、带动技术发展和应用。

蒋树强

中国科学院计算技术研究所

简介：蒋树强，中科院计算所研究员，博士生导师，国家杰出青年科学基金获得者，中科院智能信息处理重点实验室副主任，国际期刊ACM ToMM编委，任CCF多媒体专委会秘书长、CCF专委工委委员，研究方向为图像/视频等多媒体信息的分析、理解与检索技术，主持承担科技创新2030-“新一代人工智能”重大项目、国家自然科学基金等项目20余项，共在IEEE/ACM汇刊和CCF-A类会议上发表论文60余篇，获授权专利15项，先后获中国计算机学会科学技术奖、中国图象图形学会自然科学二等奖、吴文俊人工智能自然科学一等奖和北京市科技进步二等奖。

彭宇新

北京大学

简介：彭宇新，北京大学二级教授、博雅特聘教授、博士生导师、国家杰出青年科学基金获得者、国家万人计划科技创新领军人才、科技部中青年科技创新领军人才、863项目首席专家、中国人工智能产业创新联盟专家委员会主任委员、中国工程院“人工智能2.0”规划专家委员会专家、北京图象图形学学会副理事长、中国图象图形学学会副秘书长。主要研究方向为跨媒体分析与推理、图像视频识别与理解、计算机视觉、人工智能。以第一完成人获2016年北京市技术发明一等奖和2020年中国电子学会科技进步一等奖，2008年获北京大学宝钢奖教金优秀奖，2017年获北京大学教学优秀奖。主持了863、国家自然科学基金等20多个项目，发表论文160多篇，包括ACM/IEEE Trans和CCF A类论文70多篇。多次参加由美国国家标准技术局NIST举办的国际评测TRECVID视频样例搜索比赛，均获第一名。主持研发的跨媒体互联网内容分析与识别系统已经应用于公安部、工信部、国家广播电视总局等单位。担任IEEE TCSVT等期刊编委。

朱文武

清华大学计算机系教授，CCF多媒体专委会主任

简介：朱文武，清华大学计算机系教授，人工智能研究院大数据智能中心主任，信息科学与技术国家研究中心副主任，大数据算法与分析技术国家工程实验室副主任，国家973项目首席科学家。CCF会士、IEEE Fellow、AAAS Fellow。目前担任CCF多媒体专委会主任，IEEE Transactions on Multimedia指导委员会主席，IEEE Transactions on Circuits and Systems for Video Technology 常务主编(Associate Editor-in-Chief)，曾任IEEE Transactions on Multimedia主编。主要从事多媒体网络计算、大数据智能等研究工作。两次获国家自然科学二等奖。

报告题目：多媒体智能：当多媒体遇到人工智能

报告摘要：在过去的十年里，大量新兴多媒体应用和服务的出现，产生了海量多媒体数据，极大地促进了图像/视频内容分析、多媒体搜索与推荐、多媒体流化与内容分发等的迅猛发展。与此同时，人工智能在近十年经历了一波“新”的发展浪潮，取得了巨大成功和应用。本报告介绍多媒体智能这一概念，从以下两方面探讨多媒体与人工智能的相互影响：1）多媒体驱动人工智能向可解释性的研究范式发展；2）人工智能反过来为多媒体的研究注入了新思维和新方法。多媒体和人工智能交互式地彼此增强，共同形成一个闭环。最后，我们探讨多媒体智能的发展趋势和研究方向。

吴飞

浙江大学教授，CCF多媒体专委会常委

简介：浙江大学求是特聘教授，博士生导师。主要研究领域为人工智能、多媒体分析与检索和统计学习理论。浙江大学上海高等研究院常务副院长、浙江大学人工智能研究所所长。科技部重点研发计划项目负责人、主持国家自然科学基金重点项目2项。国家杰出青年科学基金获得者（2016年）、入选“高校计算机专业优秀教师奖励计划”(2018年)、宝钢优秀教师奖（2019年度），科技部科技创新2030“新一代人工智能”重大项目管理专家组成员、教育部人工智能科技创新专家组工作组组长（2018.8-2020.12），中国工程院院刊《Engineering》信息与电子工程学科执行主编。著有《人工智能导论：模型与算法》（高等教育出版社），开设国家级首批一流课程（线上课程）《人工智能：模型与算法》。

报告题目：AI+X驱动科学发现

报告摘要：人工智能是一种使能技术，具有内涵性、渗透力、支撑性等特点，与其他学科研究具备交叉的秉性，使之成为推动创新发展和科学发现的有力手段。本报告将结合智能司法和药物逆合成等领域的若干研究，介绍数据驱动和知识引导相结合的手段和方法，同时介绍AI+X微专业所进行的交叉人才培养实践。

操晓春

CCF杰出会员、YOCSEF荣誉委员

简介：操晓春，国家杰出青年基金获得者，主要从事计算机视觉基础研究和网络空间内容安全应用研究。担任IEEE汇刊 TIP、TMM、TCSVT的Senior Area Editor/Associate Editor，NeurIPS/ICCV/CVPR/IJCAI/AAAI/ICPR的Area Chairs。获2019年中共中央办公厅技术进步一等奖（排名第1）。CCF优博、中科院优博指导导师。

报告题目：跨媒体因果推断理论与方法

报告摘要：跨媒体智能是新一代人工智能技术的重要组成部分，其基础理论问题是借鉴生物的跨媒体信息表达和处理机理，实现智能感知和认知。本报告将从跨媒体智能方向的前沿基础理论层面展开，介绍跨媒体因果推断研究的科学问题和研究思路，然后介绍跨媒体常识机理建模、数据抽象与归纳、知识网络构建和因果推断等研究成果，最后探讨跨媒体因果推断所面临的挑战与思考。

王树徽

中国科学院计算技术研究所研究员，CCF高级会员、CCF多媒体专委会委员

简介：2006年于清华大学获得工学学士学位，2012年于中科院计算所获得工学博士学位，2014年从中科院计算所博士后出站并留所工作、历任助理研究员、副研究员、研究员。从事图像视频理解、跨媒体分析推理与跨媒体知识工程等方面的研究，发表录用IEEE/ACM汇刊以及顶级学术会议论文60余篇。多次担任ACMMM、IJCAI等顶级国际会议领域主席，主持国基金面上项目等科研项目，参与科技创新2030-新一代人工智能重大项目、973课题、863课题等项目研究，获2020年国自然基金委优青资助。获得吴文俊人工智能自然科学一等奖（2020）、CCF科学技术奖（2012）等奖励。

报告题目：可信赖跨媒体分析推理与深度人机协作

报告摘要：当前，数据逐渐呈现出跨模态、跨数据源复杂关联的跨媒体特性。跨媒体分析推理技术研究是针对跨媒体数据特点，以多模态类人智能为目标，构建跨模态、跨平台内容的语义贯通机制，并进一步通过检索、问答、推荐等交互方式，实现针对复杂认知目标的不断逼近。然而，由于算法系统的日益复杂化、知识匮乏等原因，现有方法从学习机理、推理过程、系统输出等方面存在难以解释、难以信赖的难题，对在该研究方向上产生突破并依此提高开放域人机协作水平形成了困难与阻碍。本报告拟面向类人智能发展目标，结合开放环境下数据与应用环境下深度人机协作的迫切需求，提出可信赖跨媒体分析推理的研究框架和问题定义，介绍研究组的近期研究尝试，包括去偏置数据学习、细粒度知识获取、可解释跨媒体推荐、跨媒体主动学习等。基于已取得研究结论，探讨可信赖跨媒体分析推理技术的未来发展趋势。

鲍秉坤

南京邮电大学教授，CCF多媒体专委会委员

简介：鲍秉坤，南京邮电大学通信与信息工程学院教授、博士生导师，江苏省重大协同创新平台负责人。入选中组部万人计划-青年拔尖人才、江苏省杰青、江苏省双创人才。研究方向为多媒体计算、社交多媒体、计算机视觉、人工智能等。先后主持国家级项目6项，包括国家重点研发计划：科技创新2030-人工智能重大专项、国家自然科学基金重点项目等。荣获2018年度电子学会科学技术一等奖，荣获多媒体领域的ACM汇刊TOMM 2016年度最佳论文奖、IEEE MM 2017年度最佳论文奖、Multimedia Modeling 2019年度最佳论文Runner Up奖，荣获ICME 2020 Outstanding Areas Chair。担任Multimedia Systems副主编。

报告题目：跨模态关系推理

报告摘要：近年来涌现很多文本与视觉上的跨模态任务，如文本图像编辑，场景图生成，视频问答等等。虽然现有模型已经具备了较强的对文本及视觉信息的感知能力和理解能力，但其普遍缺乏对信息间鲁棒关系的建模，例如：物体描述与图像特征的关系，物体特征与知识图谱中节点的关系、以及同一物体在视频帧之间的时空依赖关系等。这一缺陷使得模型感知到的跨模态信息难以得到充分利用，并最终制约了特征表达的质量。本报告将介绍跨模态关系推理在三个代表性任务上的应用，通过跨模态关系推理，能够挖掘模态间与模态内的对象之间的隐含关系，最终得到更加鲁棒的特征表达。