宫奥博
加好友
宫奥博 2021-03-31
作者:李飞
ISP(Image Signal Processor,图像处理器)是手机芯片系统中的重要组成部分,负责图像处理部分。随着智能手机市场的发展,我们正在看到越来越多的手机厂商在自研ISP。国外的重要手机厂商中,苹果和三星一直在使用自研的ISP芯片模组,而谷歌再其Pixel系列手机中也用上了带有众多实验特性的自研ISP;而在中国的手机厂商中,我们也在看到越来越多的公司加入自研ISP的队列。华为作为中国手机市场技术的领头羊,其自研ISP早已落地在自己的手机系列中;此外,近些年来积极开发芯片的Oppo和Vivo也有消息正在自研ISP。最近,小米也加入了自研ISP的行列,可见无论是在国外还是国内,手机厂商自研ISP正在成为主流。
为何手机厂商要自研ISP?
手机厂商自研ISP的最根本原因还是照相系统在手机中是一个极其重要的组成部分,同时拍照质量也是决定手机消费者体验的一个极重要的参数。每年的新手机发布会上,几乎都离不开照相图像质量相关的内容,而ISP则很大程度上决定了图像质量。
另外,我们看到在手机应用中,拍照的应用场景正在越来越多。除了传统的拍照之外,随着直播、抖音等应用的普及,越来越多的用户正在成为这类视频应用的创作者,而这就让越来越多的用户对于图像质量有更高的需求。此外,在谷歌、苹果等公司都在力推的AR应用中,通常的使用方式都是用户使用手机的照相机去拍摄真实世界的实时图像,而AR应用则把虚拟物件渲染叠加在真实世界的图像上。例如,目前地图类应用中得到应用的AR导航就是把路线指示叠加在用户实时拍摄的真实世界图像中,从而以一种更直观的方式完成导航。随着AR应用得到更多应用,我们认为拍照也在获得更多的使用时长,因此对于ISP的功能、延迟和功耗等都提出了一定需求。为了能在越来越多的拍照应用中实现差异化,手机厂商自研ISP也是顺理成章。
ISP的技术发展方向
ISP目前正在经历一个新的技术革新期,而这个技术革新的主要动力来自计算机视觉技术的新发展以及计算机视觉技术的新需求。我们将对这两个方向分别分析。
另外,新的计算机视觉技术对于ISP也有新的需求。我们看到计算机视觉算法越来越多进入手机和下一代智能设备——例如VR设备中就有基于这类算法的手部追踪来完成人机交互,而这些算法算法对于图像质量的需求往往和人眼对于图像质量的需求不尽相同,例如算法需要的图像分辨率常常在400x400以下,对于许多细节的噪声等也不是很敏感;而另一方面这些基于计算机是觉得应用常常需要照相系统长时间打开(而不像传统用户主导的拍照通常只会开启很短时间)。因此,对于这些应用来说,我们更希望ISP能在满足算法对基本图像质量需求的同时,尽可能减少功耗,从而能满足智能设备散热以及电池使用时间的要求。类似的设计往往还需要结合一些图像传感器的特殊特性来设计——例如使用某些算法需要直接使用图像传感器的低帧率低分辨率模式,从而实现能效比的最优化。
ISP市场将如何变化?
目前ISP芯片模组供应商中,除了苹果等自研厂商之外,其余的供应商大致可以分为几类。首先是高通这类的SoC供应商在其SoC中已经包括了ISP进行打包销售,但是ISP不会单独销售。另一类是提供ISP IP授权的供应商,例如ARM和芯原等等。还有介于这两类之间的设计服务提供商,例如Socionext等,他们拥有ISP模组设计,而客户可以根据需求去对这些ISP模组进行部分定制并集成在其整体芯片方案中。
随着越来越多公司开始自研ISP,我们认为设计服务提供商可能将会从中受益。首先,对于初次自研ISP的厂商来说,从设计服务提供商的参考ISP设计出发,在这个基础上加入一些定制化的特性将会是一种不错的方式。此外,无论是否要使用设计服务提供商的参考方案,厂商自研ISP通常都需要设计服务商提供的物理设计等服务,而这都有利于设计服务提供商。
对于ISP的IP提供商以及SoC整体供应商来说,手机厂商开始自研ISP意味着自己的客户正在开始与自己竞争,如果要继续保持出货量则可能需要在性能上做到提升,同时在价格上则可能要有更多让步。对于高通这样的SoC供应商来说,小米和Oppo等自研ISP的手机厂商仍然需要使用高通的SoC来实现主要功能,因此如何利用这一点来部分抵消客户自研ISP的影响将成为重要的课题。
联发科拿下全球38%手机芯片市场,已连续四个季度超越高通
美研究说高剂量手机辐射可致大鼠心脏肿瘤
我国人工智能应用落地的关键因素
华为发布世界首个内置全制式5G基带的手机芯片麒麟990 5G
CSIG图像图形学科前沿讲习班 第1期
让手机不再怕热!南京大学教授研制耐340℃高温元件
Oppo据报也加入了自行设计手机芯片的行列
5G手机芯片江湖:玩家减少、五强争霸 成本、续航两大难题待解
用计算机视觉跟踪卫星姿态
用计算机视觉跟踪卫星姿态