视觉——从人到计算机 | CNCC2021

人的视觉信息占人获取的信息的约80%，视觉是人类感知外部世界获取信息的最重要的途径之一。通过视觉，人和动物感知外界物体的大小、明暗、颜色、动静，获得对机体生存具有重要意义的各种信息。同时，视觉在统整其他感知觉工作中起到重要作用，有研究认为，个体通过视觉获得的表象的量是最多的，并且可以将零碎的各种感官信息统整、组织和消化。

而随着公共安全监控网络的全覆盖和各种便携设备上的摄像头普及，计算机视觉的应用场景不断扩展,并催生了巨大的市场。然而人的视觉感知系统的和计算机视觉在图像捕获、图像存储和图像理解等机制上都在着较大的差异。计算机视觉技术的研究目标是使计算机具有通过二维平面图像认知和三维场景环境信息的能力。因此机器不仅需要感知三维环境中物体的几何信息（形状、位置、姿态、运动等），而且要对这些信息通过统计的方式进行描述、存储、识别与理解。

本论坛邀请了研究人的视觉的学者和研究计算机视觉的学者，包括北京大学鲍平磊、中国科学院自动化研究所张兆翔、电子科技大学李永杰和昆明理工大学施霖，来共同探讨视觉从人到计算机的相同与不同，从不同学科来讨论视觉这一重要课题，进行充分学科交叉和思想碰撞，期望碰撞出新的火花来推动视觉的研究。

王甦菁

中国科学院心理研究所副研究员，CCF杰出会员

中国科学院心理研究所副研究员，博士生导师。2012年6月博士毕业于吉林大学计算机科学与技术学院，2012年8月至2015年6月在中国科学院心理研究所做博士后工作。2015年7月加入中国科学院心理研究所。主要研究方向为模式识别与机器学习，特别是微表情识别。在国内外重要期刊和学术会议上发表五十余篇论文，包括TPAMI、TIP、TNN、ECCV等。2014年起担任Neurocomputing期刊的Associate Editor。CCF杰出会员，IEEE高级会员，中国计算机学会计算机视觉专业委员会委员，中国人工智能学会人工心理与人工情感专业委员会委员，中国图象图形学学会机器视觉专业委员会委员。主持国家自然科学基金面上项目2项，北京市自然科学基金面上项目1项，中国博士后基金2项。获2018年第八届吴文俊人工智能科学技术奖一等奖。入选2020全球前2%顶尖科学家“年度影响力”榜单。被新华社称为“中国版霍金”。

鲍平磊

北京大学心理与认知科学学院研究员

北京大学心理与认知科学学院研究员、北京大学麦戈文脑科学研究所和北大-清华生命科学联合中心PI。本科毕业于中国科学技术大学生命科学学院，博士毕业于南加州大学神经科学专业，2014-2020年在美国加州理工学院生物学系从事博士后研究。实验室将主要以灵长类动物为模型，采用包括脑功能成像，单细胞记录，行为，以及神经网络等多种手段来探索视知觉的神经机理，其文章发表在《Nature》，《Nature Communications》,以及《elife》等知名期刊上。

报告题目：深度学习网络在理解客体识别神经机制中的成功与失败

摘要：客体识别是灵长类视觉系统中最为重要的功能之一，然而因为缺乏清晰的数学模型，所以对其神经机制依旧缺乏足够的理解。近些年来所发展的深度学习网络在客体识别的行为表现上，已经接近或者达到了人类的水平，从而提供了一个全局的模型来帮助理解客体识别的神经机制。然而，深度学习网络在网络架构，学习机制等诸多方面与视觉系统都存在诸多差别，而这些差别也造成了网络与视觉系统在诸多任务上表现的不一致性。所以理解二者之间的异同，将不仅有助于更好的利用深度学习网络这个研究工具，并同时也能提供一个重要的窗口帮助理解客体识别的神经机制。所以，在本研究中，我们将以单细胞记录，脑功能成像等多种技术手段，以人以及非人灵长类为研究对象，结合深度学习网络，探索了包括下颞叶功能组织原则，客体形状与纹理表征以及多客体表征的问题。研究发现，深度网络模型的运用能够很好的解释单客体在形状上表征，而在多物体与纹理表征等诸多方面与灵长类视觉系统之间存在较大差别。该研究为未来进一步设计与视觉系统更为匹配的深度学习网络提供了新的思路。

张兆翔

中国科学院自动化研究所研究员

博士，中国科学院自动化研究所研究员、博士生导师，中国科学院大学岗位教授，中国科学院脑科学与智能技术卓越创新中心骨干，入选“教育部长江学者奖励计划”，研究方向包括：物体检测与分割，视觉认知计算，类脑智能等，担任或曾担任 IEEE T-CSVT、Patten Recognition、Neuro Computing 编委（Associate Editor），是CVPR、ICCV、AAAI、IJCAI、ACM MM、ICPR、ACCV 等国际会议的领域主席（Area Chair）。

报告题目：标注受限的视觉场景分析

摘要：当前以深度学习为主要范式的视觉场景分析方法往往依赖数据标注的规模与质量，所谓“有多少人工就有多少智能”。本报告着重探讨如何在标注数据不够、标注质量不够、甚至没有标注的情况如何实现真正落地实用的视觉场景理解方法。具体内容涉及如何从脑机制寻求启发，充分利用样本间、类别间和模态间的关联关系，在数据受限条件下实现高质量的物体检测、物体分割等任务。

李永杰

电子科技大学生命科学与技术学院教授

电子科技大学生命科学与技术学院（神经信息教育部重点实验室）教授、博士生导师、生物医学工程系主任、“视觉认知与类脑计算”研究中心负责人。2004年在电子科技大学获得生物医学工程专业博士学位，2008年晋升为教授，2009.9-2010.9在哥伦比亚大学神经科学系做访问学者，2011年成为博士生导师。目前担任中国自动化学会理事及“生物控制论与生物医学工程”专委会主任委员、中国电子学会“生物医学电子学”分会副主任委员、中国图象图形学学会类脑视觉专委会委员等。主要研究方向为生物视觉计算模型、类脑智能及应用（自然图像处理处理与计算机视觉、智能医学影像分析等）。以第一作者或通讯作者在国内外重要期刊及会议上发表论文近百篇，包括工程类期刊（含IEEE Transactions on PAMI/IP/ITS等IEEE汇刊论文近20篇，以及IJCV、PR等期刊）、计算机领域顶会（ICCV/CVPR等）、神经科学类期刊（如NeuroImage、Journal of Vision等）。申请中国发明专利近30 项（其中已授权23项）。曾获2020吴文俊人工智能自然科学三等奖（排名第一）。

报告题目：受生物视觉机理启发的图像处理模型及计算机视觉应用

摘要：视觉是人类认知外部世界最主要、最直接的形式，约80％的外界信息是通过视觉系统获得的。视觉感知也是大脑中最为复杂而又高效的信息加工过程之一。而且，有很多生物具有超越人类的视觉感知和（或）认知能力，比如夜行动物的夜视能力、蛇类的红外感知能力、鹰类的小目标检测能力等。面对复杂多变的非结构化环境，以智能环境感知为基础的众多工程应用（如目标检测、识别与跟踪等）有望从以自适应为核心的各种生物视觉机理中寻求启示和高效解决方案。本报告将在概述生物视网膜和视觉皮层结构和信号加工机理的基础上，介绍受其启发的计算模型及计算机视觉应用，如基于视网膜机理的图像增强技术，以及基于视觉中、高级信息加工机理的夜间红外图像白天彩色化技术、目标检测技术等。研究结果表明，基于生物视觉感知和认知机理的环境感知和认知计算模型，在环境适应性和计算高效性等方面具有明显的优势。

施霖

昆明理工大学副教授

日本高知工科大学基础工学博士，昆明理工大学副教授。中国照明学会视觉与颜色专业委员会委员、国际色视觉学会会员。主要从事视觉科学研究，研究兴趣包括：颜色视觉、视觉注意、三维显示等。

报告题目：时间维度上颜色视觉的非线性融合

摘要：计算机系统主要通过图像传感器获取彩色图像。图像传感器在曝光时间窗口范围内通过平面排列的光电二极管阵列捕获光子，把透过不同波长滤色片的光子转换为电信号进而获得二维彩色图像。此过程与人获取图像信息有相似之处，但又存在诸多差异。其中一项显著差异在于：图像传感器采集彩色图像的过程具有“空间上下文无关”特征，而人的视觉系统具有“空间上下文相关”特征。图像传感器的“空间上下文无关”特征是指：物理上完全相同色块的采集图像相同，与其空间环境无关。然而大量证据显示：人类颜色视觉是空间上下文相关的，即物理上完全相同的色块在不同的空间上下文环境中可能会呈现出不同的颜色感知。既然色觉是空间上下文相关的，那么时间上下文相关性如何呢？一般认为，与亮度感知的时间域概率线性叠加类似，颜色感知在时间域内叠加或融合也具有线性特征，颜色视觉似乎具有时间上下文无关特性。但是我的实验证据却表明：颜色感知在时间域内的叠加或融合呈现出了非线性特征，颜色视觉是时间上下文相关的。