Camera 工作原理介绍
一、工作过程
外部光线穿过 lens 后，经过 color filter 滤波后照射到 Sensor 面上，Sensor 将从 lens 上传导过来的光线转换为电信号，再通过内部的 AD 转换为数字信号。如果 Sensor 没有集 成 DSP，则通过 DVP 的方式传输到 baseband，此时的数据格式是 RAW DATA。如果集成 了 DSP， RAW DATA 数据经过 AWB、 则 color matrix、 lens shading、 gamma、 sharpness、 AE 和 de-noise 处理，后输出 YUV 或者 RGB 格式的数据。
最后会由 CPU 送到 framebuffer 中进行显示，这样我们就看到 camera 拍摄到的景象 了。
二、camera 主要部件
一般来说，camera 主要是由 lens 和 sensor IC 两部分组成，其中有的 sensor IC 集成 了 DSP，有的没有集成，但也需要外部 DSP 处理。细分的来讲，camera 设备由下边几部 分构成：
lens（镜头） 一般 camera 的镜头结构是有几片透镜组成，分有塑胶透镜（Plastic)和玻璃透 镜(Glass) ，通常镜头结构有：1P,2P,1G1P,1G3P,2G2P,4G 等。
sensor（图像传感器） Senor 是一种半导体芯片，有两种类型：CCD（Charge Coupled Device）即电荷耦合器件的缩写 和 CMOS（Complementary Metal-Oxide Semiconductor）互补金属氧化物半导体。
注：
CCD传感器，电荷信号先传送，后放大，再A/D，成像质量灵敏度高、分辨率好、噪声小；处理速度慢；造价高，工艺复杂。
CMOS传感器，电荷信号先放大，后A/D，再传送；成像质量灵敏度低、噪声明显；处理速度快；造价低，工艺简单。
sensor 将从 lens 上传导过来的光线转换为电信号， 再通过内部的 AD 转换为数字信号。 由于 sensor 的每个 pixel 只能感光 R 光或者 B 光或者 G 光， 因此每个像素此时存贮的是单色的， 我们称之为 RAW DATA 数据。
要想将每个像素的 RAW DATA 数据还原成三基色，就需要 ISP 来处理。 ISP（图像信号处理） 主要完成数字图像的处理工作，把 sensor 采集到的原始数据转换为显示支持 的格式。
CAMIF（camera 控制器） 芯片上的 camera 接口电路，对设备进行控制，接收 sensor 采集的数据交给 CPU，并送入 LCD 进行显示。
MIPI 接口
MIPI摄像头常见于手机、平板中，支持500万像素以上高清分辨率。它的全称为 “Mobile Industry Processor Interface”，分为 MIPI DSI 和 MIPI CSI，分别对应于视频显示和视频输入标准。目前，MIPI摄像头在嵌入式产品中，比如行车记录仪、执法仪、高清微型相机、网络监控相机等得到广泛应用。
一、MIPI
1、什么是MIPI？
MIPI联盟，即移动产业处理器接口（Mobile Industry Processor Interface 简称MIPI）联盟。
MIPI（移动产业处理器接口）是MIPI联盟发起的为移动应用处理器制定的开放标准和一个规范。
2、MIPI的特点
MIPI是差分串口传输，速度快，抗干扰。主流手机模组现在都是用MIPI传输，传输时使用4对差分信号传输图像数据和一对差分时钟信号；最初是为了减少LCD屏和主控芯片之间连线的数量而设计的，后来发展到高速了，支持高分辨率的显示屏，现在基本上都是MIPI接口了。
MIPI摄像头有三个电源：VDDIO（IO电源），AVDD（模拟电源），DVDD（内核数字电源），不同sensor模组的摄像头供电不同，AVDD有2.8V或3.3V的；DVDD一般使用1.5V或更高，不同厂家的设计不同，1.5V可能由sensor模组提供或外部供给，可以使用外部供电则建议使用外部供，电压需大于内部的DVDD；VDDIO电压应与MIPI信号线的电平一致，若信号线是2.8V电平，则VDDIO也应供2.8V，有些sensor模组也可以不供VDDIO，由内部提供。
补充说明：MIPI的camera接口叫 CSI，MIPI的display接口叫DSI。
二、DVP
DVP总线PCLK极限约在96M左右，而且走线长度不能过长，所有DVP最大速率最好控制在72M以下，PCB layout较容易画；MIPI总线速率lvds接口耦合，走线必须差分等长，并且需要保护，故对PCB走线以及阻抗控制要求高一点（一般来讲差分阻抗要求在85欧姆~125欧姆之间）。
DVP是并口，需要PCLK、VSYNC、HSYNC、D[0：11]——可以是8/10/12bit数据，具体情况要看ISP或baseband是否支持；MIPI是LVDS低压差分串口，只需要要CLKP/N、DATAP/N——最大支持4-lane，一般2-lane可以搞定。MIPI接口比DVP的接口信号线少，由于是低压差分信号，产生的干扰小，抗干扰能力也强。最重要的是DVP接口在信号完整性方面受限制，速率也受限制。500W还可以勉强用DVP，800W及以上都采用MIPI接口。
三、 CSI 接口
1、CSI 接口基本概念
CSI-2接口规范是由MIPI(Mobile Industry Processor Interface)联盟组织于2005年发布的关于相机串行接口，它作为一种全新的相机设备和处理器之间的接口框架，给便携式、手机摄像头等相关产业提供了一种灵活且高速的设备接口[28]。此前，传统摄像头接口一般都包括了数据总线、时钟总线、同步信号线控制线等，物理接口框图如下所示：
这种摄像头物理接口所占用的数据线较多，逻辑设计上也比较复杂，需要严格同步包括水平同步信号，垂直同步信号以及时钟信号，这对摄像头这端以及接收器这端都提出了较高的要求，同时，在高速传输的过程中，直接使用数字信号作为数据容易被其他外部信号干扰，不如差分信号的稳定性，这样也大大限制了其传输的速率以及相机最大能够实时传输的图像质量。
基于CSI-2摄像头数据传输过程使用了数据差分信号对视频中像素值进行传输，同时CSI-2传输接口能够非常灵活的进行精简或者扩展，对于接口较少的应用场景，CSI-2接口可以只使用一组差分数据信号线以及一组差分时钟线就能够完成摄像头的数据串行传输过程，这样便减少了负载，同时也能够满足一定的传输速率，而对于大阵列的CCD相机，CSI-2接口也能够扩展其差分数据线，从而满足多组数据线并行传输的高速要求。
同时CSI-2接口中也集成了控制接口CCI(Camera Control Interface)，CCI是一个能够支持400KHz传输速率的全双工主从设备通信控制接口，它能够兼容现有很多处理器的IIC标准接口，因此可以非常方便地实现Soc上CCI Master Module到 CSI-2 TX 端CCI Slave Module的控制，CSI-2物理接口框图如下图所示。
2、CSI物理协议层规定
MIPI联盟除了在摄像头的接口上进行全新的规定以外还对CSI-2接口的软件架构进行了进一步的制定，CSI-2软件框架主要分成三层，分别为应用层、协议层、物理层，而对于协议层又可以细分为像素字节打包层/解包层、LLP(Low LevelProtocol)层、通道管理层(Lane Management)，其主要系统软件框图如下所示：
CSI协议层设计：
应用层：主要设计了上层数据流的编码以及解码格式，规定了像素转换为字节的映射关系；
协议层：主要包括了像素/字节打包/字节解包层，LLP层提供了串行传输数据的同步机制，通道管理层提供了数据位宽可扩展功能，从而灵活的适应不同的应用场景；
物理层：定义了基本传输介质规范，确定了CSI-2协议物理层的输入输出特性参数，并确定其电气特性以及时钟时序。
DALI是“Digital
Addressable Lighting Interface 数字可寻址照明接口”的首字母的缩写。
DALI是一个专门为照明控制系统而制定的数据传输的协议，它定义了照明电器（各类灯具的驱动电路）与系统设备控制器（如照明控制器、感应器等）之间的数字通信方式。
DALI 支持“开放式系统”的概念，以保证不同制造商生产的DALI设备能相互兼容。DALI目前已成为IEC62386系列国际标准，对应的国家标准GB/T 30104.xxx-2013已于2014年正式实施。
2015年11月，经过DALI国际标准组织的培训和审核，中山大学（古镇）半导体照明技术研究中心成为全球仅有3个的DALI标准兼容性测试实验室之一（在亚太地区唯一），为日后DALI技术在国内及亚太地区的推广提供了有利的基础。
1991年，锐高（Tridonic）公司推出了世界第一款数字调光技术DSI接口（Digital Serial interface）技术，而DALI是在DSI接口（Digital Serial interface）技术的基础上发展起来的可调光数字技术。
1994年，DALI得到了国际主要芯片、灯具、镇流器制造商OSRAM、PHILIPS、TRIDONIC等的支持，并于列入IEC60929《电子镇流器性能要求》标准。保证不同的制造厂生产的DALI设备能全部兼容
1999年，Philips公司对DALI协议做了进一步的完善工作，并在德国汉诺威国际灯展上推出了基于DALI的系列产品。
2001年，成立世界DALI协会，负责DALI技术的推广及应用。.
2009年，DALI独立成为IEC62386系列标准，目前已知共分类为17项标准，其中部分标准仍在完善中。
目前，在欧洲DALI作为一个开放性标准已经被各镇流器大厂商所采用。DALI照明控制系统可以和智能楼宇控制系统的标准总线实现无缝连接，是技术成熟，为业界广泛采用的照明控制技术。
Ambarella（下称”安霸半导体”，纳斯达克代码：AMBA，专注人工智能视觉的一家半导体公司）宣布推出 CVflow® 系列最新芯片 CV5，该款人工智能视觉处理器可支持 8K 视频录制或 4 路独立图像输入的 4K 视频流录制。 新 SoC 芯片 CV5 将推动智能汽车摄像系统、消费级无人机、运动相机和 360° 全景相机，以及机器人视觉系统的进一步发展。安霸半导体 CVflow AI 引擎与双核 Arm®A76 处理器的完美集成为各种主流人工智能算法提供卓越性能。CV5 拥有高性能图像信号处理器（ISP），可为视频编码优化以提高人眼观感，同时为机器视觉算法优化以提升准确度。CV5 采用 5 纳米先进制程，拍摄 8Kp30 视频所需功耗低于 2 瓦。
安霸半导体首席执行官 Fermi Wang 表示：“CV5 的问世让安霸半导体可为下一代智能汽车、消费类相机和机器人视觉提供全新革命性解决方案。 我们将性能卓越的 CVflow AI 引擎与 8K 视频录制和多路 4K 视频流录制集于一身，让摄像机拥有优秀的图像处理和新颖的人工智能。”
在汽车视频流远程处理应用中，CV5 可支持多路视频流编码，涵盖前置 ADAS、驾驶员监控、车舱监控及侧视摄像头。借助于 CVflow 人工智能引擎，CV5 可同时运行高级驾驶员辅助系统（ADAS）算法（如车道偏离、前方碰撞预警）以及驾驶员监控算法（如驾驶员疲劳驾驶检测）等。 多路高分辨率视频捕捉与先进的人工智能处理的完美结合，可支持 ADAS 摄像头在远距离以更高精度识别目标物体。
对于那些盈手可握的超低功耗运动相机，尤其是要支持 8K 视频高帧率录制和回放、360 度全景和 VR 的视频设备来说，CV5 是非常理想的解决方案。
在消费级机器人和无人机应用中，CV5 的 CVflow 人工智能引擎可加速 SLAM 运算、实现路径规划、障碍检测、避障，自主定位导航等全自动运作。 具体到无人机航拍，CV5 在执行飞行控制和导航功能的同时，可实现录制高达 8Kp60 的视频。
CV5 与安霸半导体其他 CVflow 系列芯片共享同一套 SDK 和计算机视觉算法优化（CV）工具，简化了各个价格区间和不同性能选项的相机开发流程。 一套完整的机器视觉工具包括了编译器、调试器，并支持行业标准的 PyTorch™、ONNX™、Caffe™ 和 TensorFlow™ 等机器学习框架，以及卷积神经网络（CNN）性能优化完全指南，可帮助客户将自己的神经网络快速移植到 CV5 上。
CV5 芯片关键特征：
· 支持 DNN 的 CVflow 架构
· 双核 1.6GHz Arm®Cortex®-A76 附带 NEON™DSP扩展和 FPU
· 高速 SLVS-EC, MIPI-CSI (C/D PHY）接口，可接入多达 14 个摄像头
· 多通道 ISP，处理能力高达 8KP60
· 原生支持 RGGB、RCCB、RCCC、RGB-IR 和单色传感器
· 多重曝光高动态范围（HDR）处理
· 实时硬件加速的鱼眼镜头畸变校正（LDC）
· 支持多码流，高达 8Kp60 的 AVC 和 HEVC 编码
· 多种外设接口，包括 4 通道 PCIe、CAN FD、千兆网口、USB 3.1（主/从模式），三个 SD 卡控制器，MIPI DSI/CSI-2 和 HDMI 输出
· 支持高达 32GB 的 LPDDR4x / LPDDR5 / LPDDR5x， 64 位数据总线
· 可实现设备信息安全包括安全启动，支持 TrustZone®、TRNG、OTP、内存隔离，内存加密和虚拟化
· 5nm 制程
· 16×16 FBGA 封装，球间距 0.5 mm
关于Ambarella（安霸半导体）
Ambarella 的产品广泛应用于人类和计算机视觉领域，包括视频安防、高级驾驶辅助系统（ADAS）、电子后视镜、行车记录仪、驾驶员及舱内智能监控、汽车无人驾驶和机器人应用等。Ambarella 的低功耗处理器可用于智能摄像机设计，支持超高清图像处理、视频压缩、深度神经网络加速，可从高分辨率视频中提取有价值的数据。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）