好照片是如何炼成的 帮你读懂手机ISP

【IT168 评测】智能机时代，每一名消费者都希望随手拍出好照片，拍照已成为衡量一部手机品质的重要指标，三星S7、iPhone 7、华为P9这些在拍照上表现卓越的手机备受追捧。究竟是什么决定了手机的拍照效果?其实智能手机拍照和专业相机拍照一样：镜头、传感器、ISP、算法共同决定了手机成像的质量。其中前两者是商家极力渲染的部分，消费者对其也有了一定了解，认可索尼的传感器、蓝宝石镜片、6片式模组等，但是谈及ISP和算法却还比较陌生。

实际上，ISP和算法更是决定能否拍出好照片的重要因素。举几个简单的例子，历代iPhone的相机模组在参数上并不突出，但是其表现往往可以秒杀市面上的大多数产品，苹果对于其自主ISP的打造、算法的持续深耕功不可没。老罗还专门去拜访富士通的五十岚千秋先生，就是为了与富士通在ISP和算法层面进行合作，提升T1的成像效果。

近几年，在相机硬件供应仅限于索尼、三星、OV等传统大厂的情况下，各款手机的硬件差异并不明显，为了寻求拍照的突破，众多厂商也在ISP与算法方面加大投入，越来越多的黑科技被融入其中。下面我们就来谈谈ISP以及基于ISP的一些新鲜算法，了解一张好照片是如何呈现出来的。

究竟什么是ISP?

ISP是Image Signal Processing的缩写，即图像信号处理器，其主要功能是把前端图像传感器传输的信号做后期处理，比如对焦、降噪、HDR修正等。随着手机摄像头像素的提高，高速连拍，全高清甚至4K录制的加入，手机对ISP的处理性能要求越来越高，ISP性能也随之提升，不仅可以有效提升相机动作的响应速度，人脸识别与自动场景的识别等复杂功能也可以通过ISP芯片来实现。

▲A10 Fusion融合了自家最前沿的ISP

发展到今天，ISP不限于拥有出色的处理能力，还具有丰富的可编程性，厂商可以根据自身的硬件情况定制算法，实现优化成像效果，丰富相机功能的作用，比如我们熟悉的先拍照后对焦、大光圈背景虚化等。得益于半导体技术的飞速发展，手机处理器通常都集成了一颗ISP，比如高通骁龙820集成了Spectra ISP、联发科的Helio X20内置Imagiq ISP、还有苹果A10 Fusion也融合了自家最前沿的ISP。

ISP推动双摄发展

进入到2016年，iPhone 7、华为P9、荣耀8和小米5s Plus的双摄机型相继发布，双摄逐渐成为手机拍照的前沿科技。其实这些背后，很大程度上是配套的ISP以及算法层面的推动。

以高通的Spectra ISP为例，拥有双图像信号处理单元，原生就对于双摄有着很好的支持。借助于这颗ISP，高通也是推出了Clear Sight技术，即使用黑白+彩色的双摄像头同时捕捉画面，彩色镜头捕捉色彩，黑白镜头的进光量是普通镜头的3倍，捕捉更多细节，两者获取的信息各有所长，Spectra ISP配合相应的算法进行实时处理，使得呈现的照片具备更高的动态范围、更锐利的画质和更少的弱光噪点。小米5s Plus正是运用的此套解决方案，类似的方案的机型还包括华为P9、荣耀8、cool 1等，尽管采用不同厂商的的ISP、算法，但原理基本一致。

除了高通，联发科的Imagiq ISP也对于双摄像头技术有所支持，及时处理双摄像头捕捉的景深信息，并利用这些信息可以实现实时背景虚化、先拍照后对焦的有趣功能。苹果自不必多说，A10 Fusion内置的ISP可以很好的协调双摄取景，做到光学变焦与数码变焦的自然过渡，近期延伸出的人像模式也是这颗ISP的功劳。

人工智能逐渐加持

我们对于人工智能的印象，多数还停留在Siri和小冰的阶段，即会对问题和命令作出相应的答复，但实际上，这只是人工智能应用的冰山一角，人工智能已经延伸至ISP领域。这点苹果应当是布局已久，陆续收购了四家机器学习公司，而机器学习正是人工智能的核心所在。所谓的机器学习，从实践的角度来讲，机器学习是一种通过利用数据，训练出模型，然后使用模型解决问题的一种方法，简而言之就是赋予计算机学习解决问题的能力，而非简单的逻辑判断，程序式结果输出。

以苹果最新的A10 Fusion内置的ISP为例，这颗芯片即融合了机器学习技术，可以在日常使用中通过用户的使用数据进行针对性优化，比如提升对焦速度、调节复杂场景下的曝光等。更为关键的是，依靠iPhone 7 Plus的双摄像头，这颗图像信号处理器可以区分人物和背景，并进行背景虚化，拍摄出可以单反大光圈效果的照片。尽管目前效果并不自然，但是通过不断地尝试学习，这颗ISP的识别算法也会自动改进，人像边缘识别越来越准确，虚化效果更加自然。

▲iPhone 7 Plus背景虚化

应该说，苹果在人工智能方面消息不断，不断付诸于行动。巧合的是，谷歌在昨天凌晨的发布会中也在不断渲染自己在人工智能上的技术储备，两大巨头相继发力，可以预见，人工智能扮演的角色将越来越重要，相信更加智能的ISP已经在路上。

《科创板日报》（北京，记者 郭辉）讯， 小米造芯计划日前又有了最新进展。

天眼查信息显示，上海玄戒技术有限公司（下称“玄戒技术”）近日成立，注册资本为15亿元人民币，由X-Ring Limited全资控股。公司经营范围包括集成电路芯片设计及服务，电子 科技 、通信 科技 、信息 科技 、半导体 科技 领域内的技术服务、技术开发等。

此番大手笔投资之所以被视为小米造芯计划的重要一步，首先源自伴随着玄戒技术工商主体设立，最先浮现出来的两位公司关键人物，分别为执行董事、总经理、法定代表人曾学忠以及监事刘德，他们亦在小米集团担任核心高管。

玄戒技术监事刘德现任小米 科技 联合创始人兼副总裁，此外还担任包括小米 汽车 有限公司在内的多家小米集团旗下企业的监事或法定代表人。

而曾学忠目前担任小米集团高级副总裁、手机部总裁，在小米集团内部最新的人事变动是接替雷军成为小米 科技 （武汉）有限公司法定代表人、执行董事兼总经理。

在2020年7月底，雷军正式宣布曾学忠加入小米并负责手机业务，彼时小米集团还曾因召集到这样一位重量级人物而引发公众热议。从过往履历来看，中兴时期的曾学忠负责过手机终端业务，且帮助中兴手机一度取得国内市场份额前五、全球出货量4800万台的成绩。

在2017年的特殊时间节点上，曾学忠加入紫光集团，历任紫光股份总裁、展讯CEO。有不少分析认为，曾学忠当初加盟紫光的主要想法正是在半导体芯片领域大展中兴期间的未尽宏图。

如今曾学忠加入小米后即掌舵手机业务，并成为小米注资15亿新成立公司玄戒技术的核心，有市场传言称小米此前的芯片业务团队松果电子还将一并与玄戒技术做进一步整合。有半导体领域投资人士对《科创板日报》记者表示，长远看小米芯片业务整合或协同是肯定会的，不过现在来看，玄戒技术的成立是有些过于低调了。

小米过去自研芯片业务的主体是松果电子，成立初期系小米全资子公司。在2017年2月，松果团队发布了澎湃S1芯片，小米也被视为全球第四家具备手机SoC芯片研发能力的手机品牌。

最终在2019年4月，松果电子分拆出南京大鱼半导体，用于AI和IoT芯片与解决方案的技术研发并独立融资，而其余松果团队将继续专注手机SoC芯片和AI芯片领域。在分散投入的风险和成本的同时，也变相降低了目标研发难度。

今年4月份，小米松果电子发布首款ISP芯片澎湃C1，这是一颗小米自研的图像信号处理芯片。区别于SoC芯片，ISP可独立设置于主板，专用于手机影像处理。

前述电子行业分析师表示， 小米芯片团队调整完成后重新选择ISP芯片作为造芯切入点，原因首先在于做小规模芯片难度更低，这主要体现在对芯片制程先进性要求不高；其次，安卓生态芯片市场目前几乎由高通骁龙、联发科两家独霸，而国产手机厂商亟需借助自研，在图像和影像等方面打出差异化，进而打动消费者。

不过多位分析或投资人士均表示，当前市场对手机厂商纷纷入场造芯的态度和预期都过于乐观 。“做芯片风险大、投入高。如果是要做7nm以下的芯片，十几亿可能还不够，”该电子行业分析师表示，“目前来看想要取代高通，国内除了华为，其他手机厂商的技术储备还有所欠缺”。

另外在技术人才方面，“海思芯片团队7000人规模，而小米在今年6月份才被爆出打算重新招募团队，与IP供应商进行授权谈判。小米目前可能会继续开发澎湃S2，但只是用在低端一点的手机上。”

---