ISP: ISP 概述

ISP全称 Image Signal Processing，即图像信号处理。主要用来对前端图像传感器输出信号处理的单元，以匹配不同厂商的图象传感器。

常用的结构如下图所示，主要包括镜头，基座，传感器以及PCB部分。

CCM (Camera Compact Module)分为4种：FF、MF、AF和ZOOM。

FF (Fix Focus)，定焦摄像头，是国内目前用的最多摄像头，用于30万和130万的手机产品。

MF (Micro Focus)，两档变焦摄像头，主要用于近景拍照，如带有名片识别以及条形码识别的手机上，用于130万和200万的手机产品。

AF (Auto Focus)，自动变焦摄像头，主要用于高像素手机，同时具有MF的功能，用于200万和300万的手机产品。

AZ (Auto Zoom)，自动数码变焦摄像头，主要用于相机手机，类似于相机影像的品质，用于300万以上的手机产品。

景物通过镜头（LENS）生成的光学图像投射到图像传感器(Sensor)表面上，然后转为电信号，经过A/D（模数转换）转换后变为数字图像信号，再送到数字信号处理芯片（DSP）中加工处理，再通过I/O接口传输到CPU中处理，通过display就可以看到图像了。

Lens的作用是滤去不可见光，让可见光进入，并投射到Sensor上。Sensor的工作原理：光照--〉电荷--〉弱电流--〉RGB数字信号波形--〉YUV数字信号信号

元件类型不同分为： CCD 和 CMOS 。

CCD （Charge Coup LED Device，），一般是用于摄影摄像方面的高端技术元件。CCD的优点是灵敏度高，噪音小，信噪比大。但是生产工艺复杂、成本高、功耗高。

CMOS （Complementary Metal-Oxide Semiconductor，金属氧化物半导体元件）应用于较低影像品质的产品中。CMOS的优点是集成度高、功耗低(不到CCD的1/3)、成本低。但是噪音比较大、灵敏度较低。对于CMOS来说，具有便于大规模生产，且速度快、成本较低，将是数字相机关键器件的发展方向。CMOS感光器以已经有逐渐取代CCD感光器的趋势，并有希望在不久的将来成为主流的感光器。

Sensor的封装形式有两种：CSP和DICE。在模组厂商加工制造中，CSP所对应的制程是SMT，DICE所对应的制程是COB。

厂商有Omnivision、Siliconfile、Samsung 、SONY、Aptina等.

Sensor 的框图如图所示（以 Ov2718 为例）：

ISP (Image Signal Processor)，即图像处理，主要作用是对前端图像传感器输出的信号做后期处理，主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等，依赖于ISP才能在不同的光学条件下都能较好的还原现场细节。

这一部分大家中学应该就学过了，简要总结一下：

物体距离凸透镜<2倍焦距，成放大虚像，比如放大镜；

物体距离凸透镜=2倍焦距，成等大倒立实像，成像在2倍焦距处；

物体距离凸透镜>2倍焦距，成缩小倒立实像，成像在1倍焦距和2倍焦距之间；

重点就在于物体距离凸透镜>2倍焦距，成缩小倒立实像，成像在1倍焦距和2倍焦距之间</mark>；

对于相机来说，透镜的焦距也就是三四十毫米，手机摄像头焦距更短，只有几毫米，所以被拍摄的物体基本上都是在2倍焦距以外的，也就说会成缩小倒立实像，成像面在1倍焦距与2倍焦距之间，问题是，具体在哪里？

对焦需要解决的就是在哪个位置成像最清晰的问题，很明显，物体距离凸透镜距离不同其成像最清晰的位置也不同，不需要对焦的镜头必然有一个默认取景距离，比如电脑摄像头，手机前置镜头，他们的默认取景距离大概是40cm，因此只要事先调整好就行，它们不是不用对焦，而是已经对好焦了。

中学物理课堂上有一个实验，就是透镜成像实验，其中有一个问题是蜡烛的成像在哪里最清晰？大家应该都还记得一个公式：

(相距v，物距u，焦距f)

相距v，物距u分别是成像到透镜和物体到透镜的距离，f是焦距，物体和成像之间是满足这样一个关系的，因此要想得到蜡烛最清晰的像只需要直到蜡烛到透镜的距离和透镜的焦距即可，轻松愉快。

其实这正是主动式对焦的原理，只要有精确的测距工具，对焦是很简单的。

但是在很多地方，尤其是民用市场，想要给相机按上一个高精度测距仪，代价无疑是很高的，有没有其他办法实现对焦？很明显，就是刚才提到的物理实验所采用的的探索法，让改变镜头与CMOS之间的距离，总能找到成像的最佳位置。

在这种想法的作用下，被动式对焦就应运而生了，主要是以额外硬件为代价的相位法和基于软件的对比度法。

自动曝光是指根据光线的强弱自动调整曝光量，防止曝光过度或者不足，在不同的照明条件和场景中实现欣赏亮度级别或所谓的目标亮度级别，从而捕获的视频或图像既不太暗也不太亮

白平衡就是针对不同光线条件下，通过找到图像中的白块，然后调整 R/G/B 的比例抵消 偏色 ，把白色物体还原成白色物体，使其更接近人眼的视觉习惯。

Sensor的动态范围就是Sensor在一幅图像里能够同时体现高光和阴影部分内容的能力。在自然界的真实情况，有些场景的动态范围要大于100 dB，人眼的动态范围可以达到100dB。高动态范围成像的目的就是要正确地表示真实世界中的亮度范围。适合场景：比较适合在具有背光的高对比度场景下使用如：日落、室内窗户，这样能使明处的景物不致过曝，而使得暗处的景物不致欠曝。

颜色校正主要为了校正在滤光板处各颜色块之间的颜色渗透带来的颜色误差。一般颜色校正的过程是首先利用该图像传感器拍摄到的图像与标准图像相比较，以此来计算得到一个校正矩阵。该矩阵就是该图像传感器的颜色校正矩阵。在该图像传感器应用的过程中，及可以利用该矩阵对该图像传感器所拍摄的所有图像来进行校正，以获得最接近于物体真实颜色的图像。

使用 CMOS Sensor 获取图像，光照程度和传感器问题是生成图像中大量噪声的主要因素。同时，当信号经过 ADC 时，又会引入其他一些噪声。这些噪声会使图像整体变得模糊，而且丢失很多细节，所以需要对图像进行去噪处理空间去噪传统的方法有均值滤波、高斯滤波

Black Level 是用来定义图像数据为 0 时对应的信号电平。由于暗电流的影响，传感器出来的实际原始数据并不是我们需要的黑平衡。为减少暗电流对图像信号的影响，采用的方法是从已获得的图像信号中减去参考暗电流信号。一般情况下,在传感器中，实际像素要比有效像素多,像素区头几行作为不感光区，用于自动黑电平校正,其平均值作为校正值，然后在下面区域的像素都减去此矫正值，那么就可以将黑电平矫正过来了。

由于相机在成像距离较远时，随着视场角慢慢增大，能够通过照相机镜头的斜光束将慢慢减少，从而使得获得的图像中间比较亮，边缘比较暗，这个现象就是光学系统中的渐晕。由于渐晕现象带来的图像亮度不均会影响后续处理的准确性。因此从图像传感器输出的数字信号必须先经过镜头矫正功能块来消除渐晕给图像带来的影响。

[1] ISP和摄像头工作原理

[2] 相机自动对焦原理

[3] 图像清晰度的评价指标

铭普光磁是半导体芯片龙头之一。东莞铭普光磁股份有限公司成立于2008年6月，是一家集研发、生产、销售、服务于一体的高新科技企业，国内领先的通信磁性元器件、通信光电部件、通信供电系统设备制造商。是半导体芯片的龙头企业之一。铭普光磁芯片是一款具有特殊规格的全定制集成电路芯片。在整体图像系统设计中，可以搭配不同的主芯片和显示屏，扩展ISP的高速成像计算能力，释放ISP在主芯片上的负载，同时满足摄影和录像的需要。是功能性非常强的一款芯片。

【IT168 评测】智能机时代，每一名消费者都希望随手拍出好照片，拍照已成为衡量一部手机品质的重要指标，三星S7、iPhone 7、华为P9这些在拍照上表现卓越的手机备受追捧。究竟是什么决定了手机的拍照效果?其实智能手机拍照和专业相机拍照一样：镜头、传感器、ISP、算法共同决定了手机成像的质量。其中前两者是商家极力渲染的部分，消费者对其也有了一定了解，认可索尼的传感器、蓝宝石镜片、6片式模组等，但是谈及ISP和算法却还比较陌生。

实际上，ISP和算法更是决定能否拍出好照片的重要因素。举几个简单的例子，历代iPhone的相机模组在参数上并不突出，但是其表现往往可以秒杀市面上的大多数产品，苹果对于其自主ISP的打造、算法的持续深耕功不可没。老罗还专门去拜访富士通的五十岚千秋先生，就是为了与富士通在ISP和算法层面进行合作，提升T1的成像效果。

近几年，在相机硬件供应仅限于索尼、三星、OV等传统大厂的情况下，各款手机的硬件差异并不明显，为了寻求拍照的突破，众多厂商也在ISP与算法方面加大投入，越来越多的黑科技被融入其中。下面我们就来谈谈ISP以及基于ISP的一些新鲜算法，了解一张好照片是如何呈现出来的。

究竟什么是ISP?

ISP是Image Signal Processing的缩写，即图像信号处理器，其主要功能是把前端图像传感器传输的信号做后期处理，比如对焦、降噪、HDR修正等。随着手机摄像头像素的提高，高速连拍，全高清甚至4K录制的加入，手机对ISP的处理性能要求越来越高，ISP性能也随之提升，不仅可以有效提升相机动作的响应速度，人脸识别与自动场景的识别等复杂功能也可以通过ISP芯片来实现。

▲A10 Fusion融合了自家最前沿的ISP

发展到今天，ISP不限于拥有出色的处理能力，还具有丰富的可编程性，厂商可以根据自身的硬件情况定制算法，实现优化成像效果，丰富相机功能的作用，比如我们熟悉的先拍照后对焦、大光圈背景虚化等。得益于半导体技术的飞速发展，手机处理器通常都集成了一颗ISP，比如高通骁龙820集成了Spectra ISP、联发科的Helio X20内置Imagiq ISP、还有苹果A10 Fusion也融合了自家最前沿的ISP。

ISP推动双摄发展

进入到2016年，iPhone 7、华为P9、荣耀8和小米5s Plus的双摄机型相继发布，双摄逐渐成为手机拍照的前沿科技。其实这些背后，很大程度上是配套的ISP以及算法层面的推动。

以高通的Spectra ISP为例，拥有双图像信号处理单元，原生就对于双摄有着很好的支持。借助于这颗ISP，高通也是推出了Clear Sight技术，即使用黑白+彩色的双摄像头同时捕捉画面，彩色镜头捕捉色彩，黑白镜头的进光量是普通镜头的3倍，捕捉更多细节，两者获取的信息各有所长，Spectra ISP配合相应的算法进行实时处理，使得呈现的照片具备更高的动态范围、更锐利的画质和更少的弱光噪点。小米5s Plus正是运用的此套解决方案，类似的方案的机型还包括华为P9、荣耀8、cool 1等，尽管采用不同厂商的的ISP、算法，但原理基本一致。

除了高通，联发科的Imagiq ISP也对于双摄像头技术有所支持，及时处理双摄像头捕捉的景深信息，并利用这些信息可以实现实时背景虚化、先拍照后对焦的有趣功能。苹果自不必多说，A10 Fusion内置的ISP可以很好的协调双摄取景，做到光学变焦与数码变焦的自然过渡，近期延伸出的人像模式也是这颗ISP的功劳。

人工智能逐渐加持

我们对于人工智能的印象，多数还停留在Siri和小冰的阶段，即会对问题和命令作出相应的答复，但实际上，这只是人工智能应用的冰山一角，人工智能已经延伸至ISP领域。这点苹果应当是布局已久，陆续收购了四家机器学习公司，而机器学习正是人工智能的核心所在。所谓的机器学习，从实践的角度来讲，机器学习是一种通过利用数据，训练出模型，然后使用模型解决问题的一种方法，简而言之就是赋予计算机学习解决问题的能力，而非简单的逻辑判断，程序式结果输出。

以苹果最新的A10 Fusion内置的ISP为例，这颗芯片即融合了机器学习技术，可以在日常使用中通过用户的使用数据进行针对性优化，比如提升对焦速度、调节复杂场景下的曝光等。更为关键的是，依靠iPhone 7 Plus的双摄像头，这颗图像信号处理器可以区分人物和背景，并进行背景虚化，拍摄出可以单反大光圈效果的照片。尽管目前效果并不自然，但是通过不断地尝试学习，这颗ISP的识别算法也会自动改进，人像边缘识别越来越准确，虚化效果更加自然。

▲iPhone 7 Plus背景虚化

应该说，苹果在人工智能方面消息不断，不断付诸于行动。巧合的是，谷歌在昨天凌晨的发布会中也在不断渲染自己在人工智能上的技术储备，两大巨头相继发力，可以预见，人工智能扮演的角色将越来越重要，相信更加智能的ISP已经在路上。

---