计算机通信网computer Networks

多媒体通信

专题：数码相机技术的前生今世

2014年10月12日专题：数码相机技术

历史：从小孔成像到电子成像 结构：数码相机的结构与原理 功能：数码相机的功能特性 分析：数码相机主要模块的技术分析 未来：小型化高质量数码相机？

2 {ynh,cxh}@ustc.edu.cn 专题：数码相机技术

历史：从小孔成像到电子成像 结构：数码相机的结构与原理  镜头模块的构成  感光元件面积  数码单反 功能：数码相机的功能特性 分析：数码相机主要模块的技术分析 未来：小型化高质量数码相机？

4 {ynh,cxh}@ustc.edu.cn 传统相机成像过程

传统相机成像过程： 1.经过镜头把景物影象聚焦在胶片上 2.胶片上的感光剂随光发生变化 3.胶片上受光后变化了的感光剂经显影液显影和定影形成和景物相反或色彩互补的影象

5 {ynh,cxh}@ustc.edu.cn 小孔成像照相机

理论上来说，任何一个开了小孔的密封盒子都是一台原始的相机。但这个原始相机最多只能算是半个，当太阳下山一切重归黑暗，我们依然一无所有。这是一台没胶卷的相机 - 无法记录。

1826年，人类历史上第一张照片，一个农村房子局部

1826年的一天，法国人尼埃普斯（ Joseph Nièpce,1765~1833）终于找到了第一种胶卷 – 沥青。他把感光后能变硬的白沥青涂在锡合金板上，装进暗箱里对着窗外曝光了8小时，得到了人类历史上第一张照片，内容是天空下一个农村房子局部。由于感光时间太长且影像模糊，他的发明未能《数码时代旅游摄影快速指南》 6 得以推广。 {ynh,cxh}@ustc.edu.cn http://www.midphoto.com/chinese/essays/photobook/photographyreview.htm 摄影底片在原材料和感光度两方面不断进展

1826年的一天，法国人尼埃普斯找到了第一种胶卷：沥青。 1839年，法国人达盖尔用碘化银替代白沥青，用镀有碘化银的钢板在暗箱里进行曝光，以水银蒸汽进行显影，再以海波溶液定影，最后得到了十分清晰的金属照片。银版摄影曝光大约需要 10到 30分钟。 1844年，英国人塔尔博特（William Henry Fox Talbot，British, 1800–1877)发明的卡罗法”(Colotype)摄影术具有更大的意义，虽然卡罗法在初期清晰度比不上银版法，但它是有底片的，可以无限复制。曝光时间只要3到5分钟。 1851年伦敦人阿切尔（Frederick Scott Archer，1813 -1857）发明了（碘化银混合的）火棉胶（Collodion）摄影法，又称湿板摄影法（ Wet Plate Process）。湿板法进一步降低了底片成本，而且曝光时间减少到了一分钟之内。 到了1871年之后，干版法替代了湿板，并将曝光时间进一步缩短为1/25秒（室外光线下）。巨大的进步啊。1/25秒意味着可以手持相机了。

《数码时代旅游摄影快速指南》 7 {ynh,cxh}@ustc.edu.cn http://www.midphoto.com/chinese/essays/photobook/photographyreview.htm 现代相机：135相机

1914 年，在德国莱兹( Leitz) 显微镜厂工作的工程师巴纳克（Oskar Barnack）制造了世界第一台使用35毫米胶卷的135 相机，这就是大名鼎鼎的莱卡原型机Ur – Leica。从此那些笨重的木头箱子开始被抛弃，精密机械和光学的产物135相机开始一统天下。

刚开始是以莱卡为代表的旁轴莱卡原型机Ur – Leica 取景135相机，到1948年，东 1914年德蔡司（Zeiss）公司生产出一种取景和拍摄可以共用一个镜头的135相机，这就是我们现在用的单镜头反光照相机，简称单反。

《数码时代旅游摄影快速指南》 8 {ynh,cxh}@ustc.edu.cn http://www.midphoto.com/chinese/essays/photobook/photographyreview.htm 135相机的终结

1969年，美国贝尔实验室的两位科学家波义尔博士和史密斯博士发现有一种半导体对光线非常敏感，一照它就会产生电子信号。这种光敏半导体被取名叫做 CCD，Charge Coupled Device，电荷耦合器。光敏半导体（电子感光器）有多种，CCD是其中一种，其他常见的还有 CMOS，Foveon的X3等等。

1975年，柯达公司的赛尚先生 (Steven Sasson)研制出了第一台数码相机。这台相机的CCD只有一万像素，电源是16 节五号电池，存储卡是普通录音磁带，相机重约四公斤。

9 {ynh,cxh}@ustc.edu.cn http://www.midphoto.com/chinese/essays/photobook/photographyreview.htm DC走向应用：从5寸照片起步

里程碑事件：Nikon Coolpix 950, 200万像素DC，1999年2月

表中的数据为DPI

照片打印质量：300 DPI 5寸照片：5 inch * 3.5 inch 分辨率：1500 * 1050

人眼的视觉敏锐度 line pairs per millimeter 30 lp/mm152 DPI

现状佳能（Canon） EOS 1DX+（16-35）+（24-70）+（70-200）套机；京东价：￥76699.00；有效像素：1810 万尼康（Nikon） D3X 单反机身；京东价：￥48009.00；有效像素：2450 万 10 {ynh,cxh}@ustc.edu.cn 数码相机发明者把自己送进博物馆131岁柯达转型失败申请破产保护

1880年，乔治·伊士曼创立了柯达公司，并在第二年发明胶卷， 1888年第一部柯达照相机上市，开启大众摄影新时代。 1975年，柯达公司研制出了第一台数码相机。 2012年1月19日，伊士曼-美国柯达公司，正式依据美国《破产法》第11章提出破产保护申请。 11 {ynh,cxh}@ustc.edu.cn 小结：从小孔成像到电子成像

1826年，人类第一张照片，白沥青曝光8小时  碘化银（ 10到 30分钟）、卡罗法（3到5分钟）、湿板摄影法（一分钟之内）、干版法（1/25秒） 1914年，第一台使用35毫米胶卷的135相机 1975年，柯达公司研制出了第一台数码相机 1999年，Nikon 出品200万像素的DC

12 {ynh,cxh}@ustc.edu.cn 专题：数码相机技术

历史：从小孔成像到电子成像 结构：数码相机的结构与原理  镜头模块的构成 IR Blocking Filter Anti-Aliasing Filter Bayer Color Filter Pattern  感光元件面积  数码单反 功能：数码相机的功能特性 分析：数码相机主要模块的技术分析 未来：小型化高质量数码相机？

13 {ynh,cxh}@ustc.edu.cn The Interior of a Digital Camera

14 {ynh,cxh}@ustc.edu.cn https://www.fas.org/irp/imint/docs/rst/Intro/Part2_5a.html How a Digital Camera Operates

IR Blocking Filter Anti-Aliasing Filter

镜头模块图像传感器模块影像处理模块

15 {ynh,cxh}@ustc.edu.cn https://www.fas.org/irp/imint/docs/rst/Intro/Part2_5a.html IR Blocking Filter

红外线截止滤镜是为了保证色彩还原准确，避免在正常拍摄时因为红外线干扰产生噪点。

17 {ynh,cxh}@ustc.edu.cn http://dew.globalsystemsscience.org/tools/digital-cameras-overview/light-inside-a-digital-camera Why need IR blocking filter Bayer滤镜的概念稍后解释

18 {ynh,cxh}@ustc.edu.cn http://www.ir-photo.net/ir_imaging.html 去除红外滤镜的效果 near infrared image Canon PowerShot SD400 Infrared Cut-off Filter Removal

Removing this filter makes the camera sensitive to near-infrared, and replacing it with a filter that blocks visible light but is transparent to near-infrared light allows for infrared photography.

19 {ynh,cxh}@ustc.edu.cn http://www.mpetroff.net/archives/2012/01/02/canon-powershot-sd400-infrared-cut-off-filter-removal/ 红外相片的艺术效果

20 {ynh,cxh}@ustc.edu.cn 红外波段

近红外线波长范围是0.7-1.3微米。中红外线的波长范围是1.3-3 微米。近红外线和中红外线应用到各种电子设备中，例如遥控器。热红外线波长范围是3-30微米。热红外线与其他两种红外线的主要区别是，热红外线是由物体发射出来的，而不是从物体上反射出来的。

21 {ynh,cxh}@ustc.edu.cn http://www.healthmatesauna.com/index.php?option=com_content&view=article&id=14&Itemid=121 CES 2014： Flir One

Flir One是一款热成像设备，它可以探测周围物体散发出的热量并转换成电子信号在手机屏幕上显示，充满电可以使用4个小时，当手机没电的时候还能当做备用电源为手机充电。目前Flir One只适用iPhone 5和5S，售价为350美元。

22 {ynh,cxh}@ustc.edu.cn http://www.flir.com/flirone/ 抗混叠滤波器摩尔纹（印刷业俗称网纹）

The purpose of the anti-aliasing filter (AA) is to reduce the effects of color Moiré patterns that occur from a Bayer sensor. Moiré patterns are derived from aliasing.

http://www.btobey.com/nikon/nikon-d800e.php 23 {ynh,cxh}@ustc.edu.cn http://www.openphotographyforums.com/forums/showthread.php?t=14988 Bayer Color Filter Pattern

Sensor3彩色数字相机需要3个单色sensor获得彩色图像的R，G，B分量，成本较高。单CCD获得彩色图像的方法是在 CCD表面覆盖1个只含红、绿、蓝3色的马赛克滤镜，对其输出信号通过一定的处理算法实现。这个设计理念最初由拜尔提出，所以这种滤镜也被称作拜尔模板 (bayer pattern)。 由于每个像素只感知一种颜色（一种色谱），一个彩色图像感知器的整体感知度比单色（全色）感知器的感知度要低，实际中一般要低到3倍。所以，单色感知器在光线不佳的情况下表现要好得多，例如安全摄像机。

24 {ynh,cxh}@ustc.edu.cn 全部像素点R、G、B的获取

When the image sensor is read out, line by line, the pixel sequence comes out GRGRGR, etc., and then the alternate line sequence is BGBGBG, etc. This output is called sequential RGB (or sRGB). To convert an image from the bayer format to an RGB per pixel format, we need to interpolate the two missing color values in each pixel.

T. Sakamoto, C. Nakanishi and T. Hase, “Software pixel interpolation26 for digital still cameras suitable {ynh,cxh}@ustc.edu.cn for a 32-bit MCU,” IEEE Trans. Consumer Electronics, vol. 44, no. 4, November 1998. 单一Image Sensor获取彩色的其他途径

Foveon X3是全球第一款可以在 Foveon X3 sensor, using an array of 一个像素上捕捉全部色彩的图像传感器。通常采用CCD或者 layered pixel sensors, separating light CMOS的数码相机是在同一像素上只可记录RGB三种颜色中的 via the inherent wavelength- 一种，而Foveon X3采用三层感光元件，每层记录RGB的其中 dependent absorption property of 一个颜色通道。 silicon, such that every location senses all three color channels. 传统的光电耦合器件只能感应光线强度，不能感应色彩信息，需要通过滤色镜来感应色彩信息，我们称之为Bayer滤镜。而Foveon X3在一个像素上通过不同的深度来感应色彩，最表面一层感应蓝色、第二层可以感应绿色，第三层感应红色。它是根据硅对不同 Bayer filter sensor, 波长光线的吸收效应来达到一个像素感应全部色彩信息，目前已经有了使用这种技术的CMOS图像传感器，其应用产品是“Sigma low-cost and most SD9”数码相机。 common.

日本Sigma公司采用Foveon X3技术制造数码单反相机

27 {ynh,cxh}@ustc.edu.cn 小结：镜头模块

红外线截止滤镜 抗混叠滤波器 彩色的获取  Bayer滤镜  Foveon X3

28 {ynh,cxh}@ustc.edu.cn 专题：数码相机技术

29 {ynh,cxh}@ustc.edu.cn 图像尺寸和像素数的关系示意图

http://www.canon.com.cn/products/dczhinan/1_05.html 30 {ynh,cxh}@ustc.edu.cn Photon Rain

In the analogy of the photon rain filling buckets, larger the bucket, the more drops that can be collected in a given amount of time. This is important for a very fundamental reason: the accuracy of the signal measured is directly proportional to the size of the signal. 31 {ynh,cxh}@ustc.edu.cn http://www.clarkvision.com/articles/does.pixel.size.matter/ DC：感光元件面积

半画幅说法的由来 36*24=864 24*16=384

APS: Advanced Photo System 全画幅:数码相机中CCD/CMOS尺寸面积达到了35mm的面积的 32 {ynh,cxh}@ustc.edu.cn 全画幅vs.APS-C: 2款NIKON DSLR

Nikon D7000 单反套机￥10000 传感器尺寸 23.6 x 15.6 mm CMOS 分辨率 4,928 x 3,264 镜头特性 SWM(超声波对焦马达) 镜头描述 AF-S DX 18-200mm f/3.5-5.6G ED VR II 焦距 18-200mm（等效27-300mm）滤镜直径 72mm 对焦系统自动对焦尼康 Multi-CAM 4800DX 自动对焦模块具备 TTL 相位侦测，39 个对焦点（包括 9 个十字型感应器）；侦测范围：到 ° ° 对焦模式自动对焦 1/2.7" 5.27x3.93mm -1 +19 EV (ISO 100 20 C/68 F) 1) 1/1.8" 7.18x5.32mm (AF): 单次伺服AF(AF-S); 连续伺服AF(AF-C); 自动伺服AF(AF-A), 2/3" 18x13.5mm 2) 手动对焦(M) APS-C 23x16mm APS-H 28.7x19.1mm APS 36x24mm

尼康（Nikon） D4s 单反机身￥40000 传感器描述 36.0 × 23.9mm CMOS 图像处理系统 EXPEED4 对焦系统尼康高级Multi-CAM 3500FX 自动对焦感应器模组 33 {ynh,cxh}@ustc.edu.cn 全画幅DSLR Digital Single Lens Reflex Camera

尼康（Nikon） D610 单反套机￥15000 传感器描述 35.9×24.0mm CMOS 对焦系统 39 个对焦点（包括9 个十字型感应器）镜头尼康 AF-S Nikkor 24-85mm f/3.5-4.5G ED VR 滤镜直径 72mm 镜头特性尼康内部对焦系统(IF)，宁静波动马达控制自动对焦，手动对焦使用独立对焦环连拍速度6幅/秒重量约760g（仅机身）

佳能（Canon） EOS 6D 单反套机￥14000 传感器尺寸约35.8×23.9mm 图像处理系统 DIGIC 5+数字影像处理器镜头描述 EF 24-105mm f/4L IS USM标准变焦镜头焦距 24-105mm 光圈范围 F4 滤镜直径 77mm 连拍速度连拍：最高约4.5张/秒重量约675g（仅机身） 34 {ynh,cxh}@ustc.edu.cn 2款APS-C画幅NIKON DSLR

Nikon D3200 单反套机￥3000 传感器尺寸 23.2 x 15.4 mm CMOS 传感器分辨率 6,016 x 4,000 图像处理系统 EXPEED 3 镜头描述 AF-S DX 18-55mm f/3.5-5.6G VR II尼克尔镜头焦距 18-55mm（等效焦距：27-82.5mm）滤镜直径 52mm 数据接口 USB 2.0，视频输出，C 型HDMI

1/2.7" 5.27x3.93mm 1/1.8" 7.18x5.32mm 2/3" 18x13.5mm Nikon D3300 单反相机套机￥5000 APS-C 23x16mm 有效像素 2,416 万 APS-H 28.7x19.1mm 传感器尺寸 23.5 × 15.6mm CMOS 传感器 APS 36x24mm 图像处理系统 EXPEED 4 镜头描述 AF-S DX 尼克尔 18-105mm f/3.5-5.6G ED VR 滤镜直径 67mm 数据接口高速USB、C 型HDMI

35 {ynh,cxh}@ustc.edu.cn DC：感光元件面积

数码相机CCD/CMOS面积大小与数码相机的成像质量有直接关系，常以CCD/CMOS尺寸来划分档次。

数码相机制造业界通用的规范是：1英寸大小=长12.8×宽9.6mm对角线为 16mm的4：3比例传感器所对应的面积。[ 注意: 不是通常的25.5mm 1英寸] APS画幅常指APS-C 36 {ynh,cxh}@ustc.edu.cn 2款NIKON卡片机

NIKON Coolpix S3500 约￥500 光学变焦倍数 7倍焦距（相当于35mm） 26-182 mm 镜头类型伸缩式（尼克尔镜头）传感器尺寸 1/2.3英寸最大分辨率 5152 x 3864 数据接口 A/V输出；USB 1/2.7" 5.27x3.93mm 1/1.8" 7.18x5.32mm Nikon COOLPIX S6600 数码相机￥1800 2/3" 18x13.5mm 光学变焦倍数倍 APS-C 23x16mm 12 APS-H 28.7x19.1mm 焦距（相当于35mm） 25-300mm APS 36x24mm 光圈范围 f/3.3-6.3 镜头类型伸缩式传感器尺寸 1/2.3英寸最大分辨率 4608 x 3456 数据接口 A/V输出；USB；HDMI输出附加功能 Wi-Fi（无线局域网络）标准：IEEE 802.11b/g/n (标准无线局域网络协议) 37 {ynh,cxh}@ustc.edu.cn 小结：感光元件面积

1/2.7" 5.27x3.93mm 1/1.8" 7.18x5.32mm 消费级DC 2/3" 18x13.5mm APS-C 23x16mm  半画幅/APS画幅 APS-H 28.7x19.1mm APS 36x24mm  全画幅

38 {ynh,cxh}@ustc.edu.cn 专题：数码相机技术

39 {ynh,cxh}@ustc.edu.cn 旁轴取景

40 {ynh,cxh}@ustc.edu.cn 单反数码

41 {ynh,cxh}@ustc.edu.cn 两类构造不同的数码相机

光学取景 观景器（取景器） Image Sensor的面积

电子取景

42 {ynh,cxh}@ustc.edu.cn SLR: Single Lens Reflect DSLR: Digital SLR

光线在五棱镜中是单一介质传播，而反光镜则是不时的在空气和玻璃之间转换介质，这两种介质折射率不太一样，所以肯定会有色散情况。

单镜头反光相机，简称的单反

五面镜

五棱镜

43 {ynh,cxh}@ustc.edu.cn DSLR原理示意

44 {ynh,cxh}@ustc.edu.cn 小结：数码相机的结构与原理

构成：镜头、图像传感器、影像处理模块 镜头模组中的滤波器  IR Blocking Filter  Anti-Aliasing Filter 单一Image Sensor获取彩色的途径  主流：Bayer Color Filter Pattern  Sigma：Foveon X3 sensor  感光元件面积 135相机35mm全画幅 APS: Advanced Photo System 数码单反  反光板、五棱镜光学取景

46 {ynh,cxh}@ustc.edu.cn 专题：数码相机技术

历史：从小孔成像到电子成像 结构：数码相机的结构与原理 功能：数码相机的功能特性  焦距与变焦  景深/光圈  感光度  测光、曝光与曝光补偿  白平衡  自动对焦 分析：数码相机主要模块的技术分析 未来：小型化高质量数码相机？

47 {ynh,cxh}@ustc.edu.cn 什么是焦距？

相机的镜头是由一组透镜组成的，当平行光线穿过透镜时，会聚到一点上，这个点叫做焦点。焦点到透镜中心的距离，就称为焦距，一般使用毫米（mm）作为镜头焦距的单位。

相机镜头的焦距是镜头的一个非常重要的指标，镜头焦距的长短决定了被摄物在成像介质（胶片或CCD等）上成像的大小，也就是相当于物和像的比例尺。当对同一距离远的同一个被摄目标拍摄时，镜头焦距长的所成的影像大，镜头焦距短的所成的影像小。例如，使用100mm焦距镜头所拍摄的影像，其高度和宽度都是在同一台相机上使用50mm焦距镜头所拍摄影像的2倍；400mm焦 焦距，也称为焦长，是光学系统中衡量光的聚集或发散的度距镜头产生影像的高度和宽度是100mm镜头的4倍。量方式，指从透镜中心到光聚集之焦点的距离。亦是照相机中，从镜片光学中心到底片、CCD或CMOS等成像平面的距离。

48 {ynh,cxh}@ustc.edu.cn

变焦的运用

不改变相机和被摄体的位置进行变焦操作，会发现画面显示图像会变大或变小。这是因变焦所导致构图的变化。

定焦镜头的口号：变焦基本靠走！！

一般意义的焦距范围以35mm胶片相机所使用的50mm左右的焦距范围为基准的，低于50mm范围的焦距就是广角区域，高于50mm范围的焦距就是远摄区域。

49 {ynh,cxh}@ustc.edu.cn http://www.canon.com.cn/products/dczhinan/1_09.html 焦距

视角根据镜头焦距长短变化而同时发生变化。焦距变长时视角变狭窄（远摄侧），与之相反，当焦距变短时视角变得更宽广（广角侧）。

当被摄体与相机的位置一定时，采用远摄区域可以使被摄体放大，而广角区域则使被摄体缩小，这正是由于视角随焦距变化而出现改变所导致的。

50mm为标准镜头 视野与人的肉眼视野接近。

50 {ynh,cxh}@ustc.edu.cn

51 {ynh,cxh}@ustc.edu.cn http://www.canon.com.cn/specialsite/lensbook/jt1/4b.html 注：均以35mm全画幅相机进行拍摄光学变焦与数码变焦数码变焦只是电子放大 变焦倍数＝最大焦距值/最小焦距值。  一个28-280mm变焦镜头的光学变焦倍数就是 280mm/28mm，即10倍。光学变焦英文名称为Optical Zoom，它依靠镜片的位移来实现焦距的改变。光学变焦倍数越大，里面的镜片就越多，镜头体积相应较大，画质相对较低，光圈相对较小。 以目前的技术水平，光学变焦比在4倍以内的镜头其光学素质才有可能接近或者达到定焦头的平均水准，比如佳能Canon 70-200mm F2.8 IS镜头（市价两千美元，重1.5公斤）。超过4倍变焦的镜头其光学素质基本不可能达到定焦头的水平。

52 {ynh,cxh}@ustc.edu.cn 焦距与图像感应器尺寸确定相机视角

焦距越偏向广角时视角越宽，采用35mm全画幅相机时，14mm镜头的视角甚至达到了114度。相反，300mm镜头的视角仅为8度15分，非常狭窄。 当图像感应器尺寸变小时，视角自动变窄。因此，为了获得50mm镜头在35mm全画幅(36×24mm)图像感应器条件下所得到的46度视角，APS-C(23×16mm)尺寸相机必须使用焦距为33mm左右的镜头。 使用35mm全画幅相机时，16mm焦距已经属于超广角镜头的范围了，但在使用APS-C尺寸相机时，焦距将导致1.6 倍左右的视角变化，镜头只相当于约为25mm焦距的标准广角镜头。在远摄一侧，全画幅下300mm焦距的镜头安装于APS-C尺寸相机时，视角相当于480mm的超远摄镜头。

53 {ynh,cxh}@ustc.edu.cn 35mm相机等效焦距焦距变换比

30米高的大树，全画幅刚好能拍到，半画幅相机就只能拍到大树的部分（20米）

焦距变换比率

54 {ynh,cxh}@ustc.edu.cn 小结：焦距

视角镜头焦距  焦距长视角窄（远摄侧）  焦距短视角宽（广角侧） 用50mm作为标准镜头  与人眼视野接近 数码相机视角  焦距、图像感应器尺寸  35mm相机等效焦距

55 {ynh,cxh}@ustc.edu.cn 专题：数码相机技术

56 {ynh,cxh}@ustc.edu.cn 景深

在焦点前后，光线开始聚集和扩散，点的影象变成模糊的，形成一个扩大的圆，这个圆就叫做弥散圆。如果弥散圆的直径小于人眼的鉴别能力，在一定范围内实际影象产生的模糊是不能辨认的。这个不能辨认的弥散圆就称为容许弥散圆。

在焦点前后各有一个容许弥散圆，这两个弥散圆之间的距离就叫景深，即：在被摄主体(对焦点)前后，其影像仍然有一段清晰范围的，就是景深。

57 {ynh,cxh}@ustc.edu.cn 光圈

根据小孔成像原理，同样焦距下，孔径(光圈)越小，

光圈系数=镜头焦距/通光孔直径焦点所在平面以外的成像越清晰，孔径(光圈)越大，焦点所在平面以外的成像越模糊。

58 {ynh,cxh}@ustc.edu.cn 光圈/景深效果示意

59 {ynh,cxh}@ustc.edu.cn http://www.sonystyle.com.cn/mysony/alpha-club/intrest_aperture.htm 最大光圈/光圈系数

光圈系数f 值 = 焦距/通光孔直径 例1：焦距是50mm的镜头  当光圈是 1.4 时, 开孔直径为 50/1.4 = 35.7mm  当光圈是16 时, 开孔直径为 50/16 = 3.125mm 例2：镜头焦距200mm，最大光圈为f2.8  光圈全开的直径是 200/2.8 = 71.4mm  需要用77mm的滤镜

消费级DC：光圈范围 F3.5-F5.6

60 {ynh,cxh}@ustc.edu.cn 小结：景深与光圈

景深  在被摄主体(对焦点)前后，其影像仍然有一段清晰范围 光圈  孔径(光圈)越小，焦点所在平面以外的成像越清晰  孔径(光圈)越大，焦点所在平面以外的成像越模糊  光圈系数f 值 = 焦距/通光孔直径  消费级DC：光圈范围 F3.5-F5.6

61 {ynh,cxh}@ustc.edu.cn 专题：数码相机技术

62 {ynh,cxh}@ustc.edu.cn 感光度（Sensitivity）

软片（胶片）对光的敏感度；低感光度指ISO 100以下的软片（胶片），中感光度指ISO 200~800，高感光度为ISO 800以上。

63 {ynh,cxh}@ustc.edu.cn DC的感光度：电信号的放大

数码相机的成像原理：光圈通过镜头照射到CCD或者 CMOS表面上，然后CCD或者CMOS将光信号转变为电信号，然后经过后期处理，形成一张数字化的照片，在这个处理过程中，少不了的就是信号的放大过程。而数码相机的感光度，就体现在这个信号放大的过程中。 如果在拍摄时，光圈不够大，或者是曝光时间不够， CCD没有积累足够多的光信号，转变的电信号的信号就达不到足够的强度，这样的结果就是曝光不足。如何解决这样的问题？除了调节光圈和快门，我们还有一个办法，就是将信号的放大倍数提高。光圈和快门的组合改变的是光的强度，而我们一样可以改变电信号的强度啊，只是我们在不同的阶段去改变罢了。 所以可以这样理解，感光度越低，电信号后期放大的倍数越小；感光度越高，电信号后期放大的倍数越大。

64 {ynh,cxh}@ustc.edu.cn 高感光度噪点明显的机理

CCD和CMOS生成的电信号不仅仅只有图像信号，还包含自己产生的噪声信号，反映到图像上，就是我们通常所说的噪点（Noise），表现为图像阴影区域的杂色和颗粒等等。 相机后期放大电信号时，噪声信号会被无可避免被同时放大。所以，使用高感光度，将会不可避免地造成成像质量的下降，例如更多的噪点，更差的细节、更低的动态范围等等。使用低感光度，CCD和CMOS 生成的电信号就有足够的强度，所以不用过分放大，这时候噪声信号能够被控制在一个很低的水平，成像自然就会好很多。 65 {ynh,cxh}@ustc.edu.cn 提高ISO感光度时图像质量会降低

提高ISO感光度时产生噪点的原因之一是在对影像信号进行增幅时混入了电子噪点。如果希望保持尽可能高的画质，应该使用低 ISO感光度。但低感光度拍摄昏暗的室内或夜景，快门速度会非常低，所以需要注意很容易产生手抖动和被摄体抖动。此外，噪 http://www.canon.com.cn/products/dczhinan/1_14.html 点本身有在昏暗部分比明亮部分更显眼的倾向。所以在室外明亮处拍摄照片时，将感光度提升到ISO 400噪点也不会太醒目。越提高ISO感光度快门速度就越高，可以有效防止手抖动和被摄体抖动。但在使用高感光度的时候，要注 66 {ynh,cxh}@ustc.edu.cn 意画质劣化的问题。小结：感光度（Sensitivity）

胶片的感光度  低感光度指ISO 100以下  中感光度指ISO 200~800  高感光度为ISO 800以上 DC的感光度  电信号的放大  高感光度噪点明显

67 {ynh,cxh}@ustc.edu.cn 专题：数码相机技术

68 {ynh,cxh}@ustc.edu.cn 测光、曝光与曝光补偿

小孔成像：一个密闭房间，一面墙壁上开了个小圆窗户，窗对面的内壁上安上感光材料（大型胶卷或CCD）。这就是一台圣经·旧约·创世纪上帝说, 要有光,于是就有了光大型房式照相机。在没有打开小窗之前，房间里是黑乎乎的。 上帝说：要有光。于是我们打开小窗，光线从小孔而入，射到对面墙壁的胶卷上，产生光化反应（或光电反应，如果是 CCD），照片就诞生了。此过程就叫做曝光。要得正确曝光的图片，必须精确决定曝光量。所谓曝光量就是让多少光进入这个密闭房间里。若进光量太大，照片就会白花花一片，晚上变成了白天；进光量太小，照片就会黑乎乎的，白人变成黑人。 曝光就是光圈和快门的组合。可认为：光圈（值）大小其实就是那个小圆窗户开多大，快门（速度）就是窗户打开多久。假设窗户只打开1/4，时间为4秒钟可以正确曝光的话，很显然，窗户全开，曝光时间就只需要1秒了，进光量都是一样多。

69 {ynh,cxh}@ustc.edu.cn 测光的作用

曝光和测光是一对双胞胎，如果不能准确测定光照强度，正确曝光就无从谈起。

测光就是对光进行分析，分析后给定你的一个光圈快门组合，以达到相片的正常曝光。

70 http://www.jinghaisj.com/column5/2013/0117/1473.html {ynh,cxh}@ustc.edu.cn 测光方法

评价测光（可与任何自动对焦点联动） 局部测光（取景器中央约9%的面积）相机是如何实现自动测光的 点测光（取景器中央约4%的面积）？每个数码相机里都有一个光敏电阻（不同强度的光线 中央重点平均测光照射时电阻值发生变化），相机内的电脑根据电阻值的现代相机提供了测光功能，变化确定光线强度，进而确自动来感知物体通过镜头后定曝光值（光圈，快门）。的亮度，计算出合适的曝光参数，供使用者选用或相机自动选择曝光组合

71 {ynh,cxh}@ustc.edu.cn http://www.okhqb.com/zixunxiangqing/1000000278.html 曝光补偿曝光补偿的原则：白加黑减

所谓的曝光补偿是指，相对于相机显示的曝光值，根据自己个人的想法，使照片亮度接近实际亮度或自己希望的亮度。相机内置的测光表并不一定总是最佳的，而且根据被摄体的不同，相对于亮度的感觉也会有所差异。因此有必要进行曝光补偿。

72 {ynh,cxh}@ustc.edu.cn 曝光：直方图

曝光适当曝光不足曝光过度

73 {ynh,cxh}@ustc.edu.cn 小结：测光、曝光与曝光补偿

小孔成像  一个密闭房间，一面墙壁上开了个小圆窗户，窗对面的内壁上安上感光材料（大型胶卷或CCD）。这就是一台大型房式照相机。 曝光量：让多少光进入这个密闭房间里 曝光：光圈和快门的组合 测光：对光进行分析，从而给定一个光圈快门组合 曝光补偿的原则：白加黑减

74 {ynh,cxh}@ustc.edu.cn 专题：数码相机技术

75 {ynh,cxh}@ustc.edu.cn 色温

色温的单位是开尔文，在不同温度下呈现出的色彩就是色温。当一个黑色物体受热后便开始发光，它会先变成暗红色，随着温度的继续升高会变成黄色，然后变成白色，最后就会变成蓝色。

76 {ynh,cxh}@ustc.edu.cn 色温表

蜡烛及火光 1900K以下 朝阳及夕阳 2000K 家用钨丝灯 2900K 摄影用钨丝灯 3200K 摄影用石英灯 3200K 早晨及午后阳光 4300K 日光灯 3500~4000K 平常白昼 5000~6000K 晴天中午太阳 5400K 普通日光灯 4500~6000K 阴天 6000K以上 晴天时的阴影下 6000~7000K 雪地 7000~8500K 电视萤光幕 5500~8000K 蓝天无云的天空 10000K以上

77 {ynh,cxh}@ustc.edu.cn White Balance

物体颜色会因投射光线颜色产生改变，在不同光线的场合下拍摄出的照片会有不同的色温。例如以钨丝灯(电灯泡)照明的环境拍出的照片可能偏黄。白平衡会按目前画像中图像特质，调整整个图像红绿蓝三色的强度，以修正外部光线所造成的误差。 有些相机支持RAW格式输出！

78 {ynh,cxh}@ustc.edu.cn 白平衡选项效果示意

预置: 1 拍摄时的情况、2 自动、3 日光、4 多云、5 阴天、6 钨灯、7 荧光、8 闪光色温设置: 9 2500、10 5500、11 20000 色泽设置: 12 -100、13 0、14 100 79 {ynh,cxh}@ustc.edu.cn http://academy.fengniao.com/113/1137398.html 是红月亮还是白平衡？

2014/10/08 18:54 科大南区

2014/10/08 19:29 科大南区

80 2014/10/08 19:53{ 科大南区ynh,cxh}@ ustc.edu.cn 专题：数码相机技术

81 {ynh,cxh}@ustc.edu.cn 普通DC的对焦：对比度检测自动对焦 (反差式对焦)

对比检测自动对焦系统的原理是根据焦点处画面的对比度变化，寻找对比度最大时的镜头位置，也就是准确对焦的位置。 1.未合焦状态下，因为整个焦点的画面处于虚焦状态，类似于高斯模糊效果，所以像素之间的颜色比较均匀； 2.开始对焦，镜片开始移动，画面逐渐清晰，对比度开始上升； 3.合焦状态。画面最清晰，对比度最高，但相机不知道，所以继续移动镜头； 4.继续移动镜片发现对比度开始下降。进一步移动镜片，发现对比度进一步下降，相机知道已经错过焦点； 5.镜片回退至对比度最高的位置，完成对焦。 82 {ynh,cxh}@ustc.edu.cn 对比度检测（反差式）对焦示意

83 {ynh,cxh}@ustc.edu.cn http://pixinfo.com/img/fotoelmelet/autofokusz/opticanim25.gif 数码单反的主流对焦方法：相位检测对焦

(1) too near, (2) correctly, (3) too far and (4) much too far 相位检测对焦比反差对焦多出一些硬件部分。分离出2个图像，然由于对焦过程是在拍摄之前，而且会将原光束进行分离。所以最终到达线性传感器上的光线会变得很弱。所以这种对焦方式对原后通过线性传感器检测出两个图像之间的距离。现代相位检测对焦始光线的要求会比较高。光线不足会很大程度的减弱对焦的成功系统中的传感器一般是组合多个不同方向的线性传感器，形成多方率和速度。向的检测。也有采用内置相位检测像素，这就是相当于将单反中独立的线性传感器(专用对焦)集成到用来成像的主传感器上，传感器同时具备对比检测和相位检测自动对焦功能。

84 {ynh,cxh}@ustc.edu.cn 多点对焦/区域对焦

5D Mark II的对焦配置 Wide-Area AF 选择合适的AF方式非常重要！ 1Ds3的对焦配置

Face-priority AF

85 {ynh,cxh}@ustc.edu.cn focus point 小结：数码相机的功能特性

焦距与变焦  焦距与图像感应器尺寸确定视角 景深/光圈  孔径越大，焦点所在平面以外的成像越模糊 感光度  感光度越高，电信号后期放大的倍数越大 测光，曝光与曝光补偿  测光决定曝光量，曝光就是光圈和快门的组合 白平衡  调整整个图像红绿蓝三色的强度 自动对焦  对比度检测对焦、相位检测对焦

87 {ynh,cxh}@ustc.edu.cn 专题：数码相机技术

历史：从小孔成像到电子成像 结构：数码相机的结构与原理 功能：数码相机的功能特性 分析：数码相机主要模块的技术分析  镜头模块的技术参数  图像传感器模块的技术参数  影像处理器模块的技术分析 未来：小型化高质量数码相机？  高质量相机小型化：单反、单电、微单  小型相机高质量化：智能手机是相机市场的搅局者

88 {ynh,cxh}@ustc.edu.cn How a Digital Camera Operates

镜头模块图像传感器模块影像处理模块

89 {ynh,cxh}@ustc.edu.cn https://www.fas.org/irp/imint/docs/rst/Intro/Part2_5a.html 专题：数码相机技术

90 {ynh,cxh}@ustc.edu.cn 回顾：视觉敏锐度报纸上用黑白表示灰度

a pattern of higher spatial frequency will appear nearly pure gray.

{ynh,cxh}@ustc.edu.cn92 回顾：视觉敏锐度视觉敏锐度(visual acuity)

The ability of the eye to resolve detail is known as "visual acuity." The normal human eye can distinguish patterns of alternating black and white lines with a feature size as small as one minute of an arc (1/60 degree or π/(60*180) radians). A few exceptional eyes may be able to distinguish features half this size. But for most of us, a pattern of higher spatial frequency will appear nearly pure gray. Low contrast patterns at the maximum spatial frequency will also appear gray. Spatial frequency is typically measured in cycles or line pairs per millimeter (lp/mm), or cycles per degree (CPD).

93 {ynh,cxh}@ustc.edu.cn MTF Chart Modulation Transfer Function

• MTF图表描绘镜头从中心到边缘的反差对比度。红色10条线/毫米（每毫米呈现10条线）表 • X轴（水平轴）显示从影像中心到边缘的距离。因此“±0”代表镜头示镜头能够产生低空间频率或低分辨率。此线条表示镜头的反差对比度值，此线条的位中心，不同的数值代表着朝向镜头边缘方向的距离，以毫米为单位。置越高越直也就越好。线条位置越高，镜头 • 在Y轴（垂直轴）上，最大值是1，表示光线百分之百完全通过镜头。可以产生的对比度越大。蓝色30条线/毫米（每毫米呈现30条线）表示镜头能够产生高空间频率或高分辨率。此 • MTF图表由Sagital（弧线）和Meridonial（子午线）线条与镜头的分辨率有关，也是线条位置越高越好。两种度量组成，每种度量都有10条线/毫米和30条线/

毫米两种线条。在图表上形成条独立线条。 4 由于线条是从代表镜头中心的图表左边开始 • “Sagital”（实线）代表一对与中心对角线平行的线，所以线条向右边移动则表示朝向镜头的边条，从左下角穿过镜头的中间到达右上角。缘。因此可见镜头的反差对比度与锐度是如 • “Meridonial”（虚线）也代表与镜头中心平行并从何从影像中心向边缘降低。中间穿过的一对线条，从左上角到右下角。

低空间频率 高空间频率 94 {ynh,cxh}@ustc.edu.cn MTF的意义

How is MTF related to lines per millimeter resolution? Perceived image sharpness (as distinguished from traditional lp/mm resolution) is closely related to the spatial frequency where MTF is 50% (0.5)— where contrast has dropped by half. MTF corresponds to the bandwidth of a communications system The essential meaning of MTF is rather simple. Suppose you have a pattern consisting of a pure tone (a sine wave). At frequencies where the MTF of an imaging system or a component (film, lens, etc.) is 100%, the pattern is unattenuated— it retains full contrast. At the frequency where MTF is 50%, the contrast half its original value, and so on. 95 {ynh,cxh}@ustc.edu.cn http://www.normankoren.com/Tutorials/MTF.html 数码相机不同部件对MTF的影响

We present a unique visual explanation of MTF and how it relates to image quality. A sample is shown on the right. The top is a target composed of bands of increasing spatial frequency, representing 2 to 200 line pairs per mm (lp/mm) on the image plane. Below you can see the cumulative effects of the lens, film, lens+film, scanner and sharpening algorithm, based on accurate computer models derived from published data.

The sharpness of a photographic imaging system or of a component of the system (lens, film, image sensor, scanner, enlarging lens, etc.) is characterized by a parameter called Modulation Transfer Function (MTF), also known as spatial frequency

response. 96 {ynh,cxh}@ustc.edu.cn http://www.normankoren.com/Tutorials/MTF.html Nikon定焦镜头MTF比较 http://imaging.nikon.com/lineup/lens/index.htm

上两张图是相同光圈系数的镜头

下图是大光圈的 AF Nikkor 50mm f/1.8D ￥699 AF-S NIKKOR 50mm f/1.8G ￥1499 Filter/attachment size 52mm Filter/attachment size 58mm Diameter x length 63.5 x 39mm Diameter x length 72 x 52.5 mm

AF-S NIKKOR 50mm f/1.4G ￥3259 Filter/attachment size 58mm Diameter x length 73.5 x 54 mm 97 {ynh,cxh}@ustc.edu.cn Nikon变焦镜头MTF比较 http://imaging.nikon.com/lineup/lens/index.htm

AF-S Zoom-Nikkor 24-85mm f/3.5-4.5G ED VR ￥3599 Filter/attachment size 72mm Diameter x length 78 x 82 mm

Wide Tele

变焦范围不同的2个镜头

Tele Wide

AF-S Zoom-Nikkor 24-120mm f/4G ED VR (5x) ￥8099 Filter/attachment size 77mm 98 {ynh,cxh}@ustc.edu.cn Diameter x length 84 x 103.5 mm 专题：数码相机技术

99 {ynh,cxh}@ustc.edu.cn Sensor的质量评估： Full Well Capacity

The property that describes the capacity to hold the electrons in each pixel that are generated from photons is called the "Full Well Capacity."

单反机身价格

APS ￥ The property that describes the capacity to hold the electrons in Canon EOS 1D X 37999.00 each pixel that are generated from photons is called the "Full Canon EOS 5D Mark III ￥19999.00 Well Capacity." As a pixel holds more electrons, the charge Canon EOS 6D ￥10599.00 density increases. There are finite upper limits to the charge density of electron storage, and undesirable side effects can APS-C occur, including charge leaking into adjacent pixels, called Canon EOS 7D ￥6499.00 blooming (e.g. see reference 19). Blooming was common in early CCDs causing streaks from bright objects in the image.

Digital Camera Reviews and Sensor Performance Summary 100 {ynh,cxh}@ustc.edu.cn http://www.clarkvision.com/articles/digital.sensor.performance.summary/, 2014.05引用 Sensor的质量评估：SNR

Digital Camera Reviews and Sensor Performance Summary 101 {ynh,cxh}@ustc.edu.cn http://www.clarkvision.com/articles/digital.sensor.performance.summary/, 2014.05引用 Sensor的质量评估：Dynamic Range

Digital Camera Reviews and Sensor Performance Summary 102 {ynh,cxh}@ustc.edu.cn http://www.clarkvision.com/articles/digital.sensor.performance.summary/, 2014.05引用 Sensor的质量评估： Low Light Sensitivity Factor

Digital Camera Reviews and Sensor Performance Summary 103 {ynh,cxh}@ustc.edu.cn http://www.clarkvision.com/articles/digital.sensor.performance.summary/, 2014.05引用尼康部分相机的Sensor

D800/D D3200 D5200 D7000 D7100 D300s D600 D4 D3x 800E

Introdu 4/20/20 11/6/20 9/15/20 2/20/20 7/30/20 2/7/201 1/6/20 12/1/20 9/2012 ced 12 12 10 13 09 2 12 08

Sensor 23.2x15. 23.5x15. 23.6x15. 23.6x15. 23.6x15. 35.9x2 36x23. 36x23. 36x23. Size 4mm 6mm 6mm 6mm 8mm 4mm 9mm 9mm 9mm

Sensor 24.3mp 36.3mp 24.2mp 24.2mp 16.2mp 24.1mp 12.3mp 16.2mp 24.pmp Pixels full full

Nikon Sony Sony Sony Nikon Sensor Toshiba Sony Toshiba Sony Manufa NC8136 IMX021 IMX12 IMX09 NC813 5051 IMX071 5051? derived cturer 9R -derived 8L 4 66W

104 {ynh,cxh}@ustc.edu.cn http://www.bythom.com/currentdslr.htm Image Sensor Market

106 {ynh,cxh}@ustc.edu.cn 专题：数码相机技术

107 {ynh,cxh}@ustc.edu.cn DC的影像处理器

主要功能是在成像过程中对CCD（或CMOS）蓄积下的电荷信息进行处理，用于完成数码图像的压缩、显示和存储。主流品牌影像处理器包括：  佳能：DIGIC II、DIGIC III、DIGIC 4、DIGIC 5、DIGIC 5+数码影像处理器  索尼：Bionz真实影像处理器  奥林巴斯：TruePic Turbo、TruePic III影像处理器  富士：RP自然影像处理器  松下：VENUS（维纳斯）II代、III代影像处理器  卡西欧：EXILIM影像处理器  尼康：EXPEED、EXPEED2、EXPEED 3图像处理器  宾得：PRIME真实影像处理器

108 {ynh,cxh}@ustc.edu.cn DC的影像处理器 Processor brand names

Canon - DIGIC (based on Texas Instruments OMAP) Nikon - EXPEED (based on Fujitsu Milbeaut) Sony – BIONZ Pentax - PRIME (Pentax Real IMage Engine) (newer variants based on Fujitsu Milbeaut) Casio - EXILIM engine Epson - EDiART Fujifilm - Real Photo Engine Minolta / Konica Minolta - SUPHEED with CxProcess Leica - MAESTRO (based on Fujitsu Milbeaut) Olympus - TruePic (based on Panasonic MN103/MN103S) Panasonic - Venus engine (based on Panasonic MN103/MN103S) Ricoh - GR engine (GR digital), Smooth Imaging Engine Samsung - DRIMe (based on Samsung Exynos) Sanyo - Platinum engine Sigma - True (newer variants based on Fujitsu Milbeaut) Sharp - ProPix HTC - ImageSense

109 {ynh,cxh}@ustc.edu.cn http://en.wikipedia.org/wiki/Image_processor 影像处理器佳能DIGIC处理器发展史

佳能于1999年首次对外公布了自行研发的“数字影像处理器”。实现了高画质的“新数字影像处理器” 于2001年诞生。到2002年，第1代DIGIC诞生了。此后，DIGIC持续进化，2004年的DIGIC II大幅实现了高速化，同时降噪技术也使得低噪点化得以实现。接着， DIGIC III在2006年推出，进一步提高了自动程度以实现高画质，其特征是搭载了可以高精度检测面部的面部识别技术。2008年的DIGIC 4更加追求高画质与高速度，搭载了运动检测技术，能自动检测运动并设置 ISO感光度。 2011年12月推出DIGIC 5+，数据处理性能为DIGIC 4的约6倍。

DIGIC技术实现细节无公开资料110 {ynh,cxh}@ustc.edu.cn Digital Imaging Core (DIGIC, DiG!C)

Over its numerous generations, DIGIC has evolved from a system involving a number of discrete integrated circuits to a single chip system, many of which are based around the ARM instruction set. Custom firmware for these units have been developed to add features to the cameras. All the DIGIC is is a ARM processor chip (actually made by Texas instruments)

A DIGIC 5 processor is approximately six times faster than DIGIC 4. A DIGIC 5+ is approximately three times faster than DIGIC 5, and 17 times faster than DIGIC 4.

http://www.learn.usa.canon.com/resources/articles/2012/digic_processors.shtml#showAll111 {ynh,cxh}@ustc.edu.cn http://en.wikipedia.org/wiki/DIGIC#DIGIC_5 SONY BIONZ

The first camera to officially use a so called BIONZ processor was the DSLR-A700 in 2007, utilizing the MA07170 chip from a MegaChips (MCL) family of 32-bit RISC processors with MIPS R3000 core.

Similar MegaChips processors had been used in the 柯尼卡美能达是由两间日本公司——摄影与光学技术专家美能达及胶卷与感光技术专家柯尼卡— —于2003年8月1日合并而成，之后该公司继续生 DSLR-A100 (MA07169) as well as in the Konica Minolta 产照相机、其他摄影产品、望远镜、光学仪器、影印机、传真机及镭射打印机。同时亦全力进军 5D (MA07168) and 7D (MA07168), implementing 数位摄影市场，推出多款大受好评的产品，向来 Konica Minolta's CxProcess III running under MiSPO's 以勇于尝试新技术而著称。 NORTi/MIPS, an RTOS following the µITRON standard.

1999年以前MIPS是世界上用得最多的处理器

114 {ynh,cxh}@ustc.edu.cn RISC之父：John L. Hennessy

In October 2000, he was inaugurated as Stanford University’s 10th president. In 1984, he cofounded MIPS Computer Systems, now MIPS Technologies, which designs microprocessors. In recent years, his research has focused on the architecture of high-performance computers.

115 {ynh,cxh}@ustc.edu.cn 2012年11月6日MIPS被收购

1. MIPS拥有的580项专利, 当中498项以3.5亿美金卖给专利公司Allied Security Trust, 本次专利收购ARM出资1.65亿美金 2. Allied Security Trust成员包括Intel, IBM, Cisco, Sun, Verizon, HP, Ericsson, ARM, Google, HP, Motorola等21间企业 3. MIPS的一切业务, 160名工程师, 及馀下的82项核心专利, 由Imagination Technologies以6000万美金收购 4. Imagination Technologies同时获得Allied Security Trust 所收购498项专利的无限制永久免费使用权 5. Imagination Technologies会将馀下的82项专利向Allied Security Trust作出有限制授权

116 {ynh,cxh}@ustc.edu.cn DC影像处理器的功能示例Nikon Expeed功能

图像采集: Bayer filtering, demosaicing, image sensor corrections/dark-frame subtraction, image noise reduction 图像处理: image sharpening, image scaling, gamma correction, image enhancement/Active D-Lighting, colorspace conversion, chroma subsampling, framerate conversion, lens distortion/chromatic aberration correction, 图像/视频压缩: JPEG encoding, video compression, 接口: display/video interface driving, digital image editing, face detection, audio processing/compression/encoding and computer data storage/data transmission.

118 {ynh,cxh}@ustc.edu.cn 影像处理器 Nikon Expeed 1 MPU Fujitsu Milbeaut M-4 block diagram used as a base for the first Nikon Expeed EI- 14x produced since 2007

ASIC

119 {ynh,cxh}@ustc.edu.cn http://en.wikipedia.org/wiki/Expeed 影像处理器大鳄 Fujitsu Milbeaut imaging processors

数码相机领域  Milbeaut占据全球数码相机ISP市场超过50%的份额  在专业的单反相机中，超过80%的ISP基于Milbeaut  Leica M and Leica S2、Nikon EXPEED 、Pentax K mount cameras、Sigma True-II processor 手机相机领域  MEIZU MX3, Mi3, Sony Xperia Z1, Galaxy Note III, iPhone 5S/C and OPPO N1…

120 {ynh,cxh}@ustc.edu.cn http://www.fujitsu.com/cn/fss/imaging/milbeaut/ 2013.09 富士通发布MB86S22AA

第七代Milbeaut图像处理器 Since its release in 2000, the Milbeaut line of image processors has established a wide-ranging track record in a host of applications, from digital SLR cameras to smartphone cameras. The seventh- generation M-7M series includes features such as:  Improved high dynamic range (HDR) photograph quality using a JPEG- HDR™ format developed by Dolby Laboratories.  Power-saving technology: Deeply Depleted Channel™ (DDC) transistors  Full-HD H.264/AVC video compression/decompression  CPU: ARM Cortex-A5 MP  Maximum image processing speed equivalent to 12fps at 24M pixels  Hardware assist capable of feature extraction  Improved lens correction, lens distortion correction, lens resolution correction

121 {ynh,cxh}@ustc.edu.cn 影像处理器后起之秀Ambarella

the world’s first Full HD H.264 encoder 2004 • Ambarella founded requiring only a single 16-bit DDR memory 2005 • A1 introduced, a single-chip 1080i60 H.264 broadcast-class encoder 2006 • First Ambarella-enabled consumer-level HD video cameras in mass production 2007 • A2 introduced and chosen by consumer electronics brands 2008 • A3 introduced, a single-chip 1080p60 H.264 broadcast-class encoder 2009 • A5 introduced, a 65-nm video and still picture camera chip • A6 broadcast HD encoder and transcoder introduced 2010 • A5s introduced, Ambarella’s first 45-nm chip 最大支持3200万像素的感光元件万像素可实现每秒张连拍 • A7 introduced, a 45-nm 1080p60 HD camera chip 1600 30 2011 • iOne introduced, a camera applications processor for Android-based smart camera-centric devices • A7L introduced, Ambarella's first 32-nm 1080p60 camera SoC 2012 • S2 introduced, an Ultra HD 4K encoder chip targeting the IP camera market 2013 • A9 introduced, an Ultra HD 4K camera SoC ARM Cortex-A9 • A7LA introduced, an automotive camera SoC 2014 • MotorVu™ 360 introduced, a 4-channel automotive camera solution • S2L introduced, a 28-nm Full-HD chip targeting the IP camera market

122 {ynh,cxh}@ustc.edu.cn http://www.ambarella.com/ Ambarella A9，4K camera SoC，2013 基于 ARM的Cortex-A9 (Dual Core)

• NEON Media Processing Engine • Floating-Point Unit

ARMv7A : ARM architecture v7-A instruction set

123 {ynh,cxh}@ustc.edu.cn Ambarella A9，4K camera SoC，2013 基于 ARM的Cortex-A9 (Dual Core)

ARMv7A : ARM architecture v7-A instruction set • NEON Media Processing Engine • Floating-Point Unit

硬核实现

124 {ynh,cxh}@ustc.edu.cn http://www.arm.com/zh/products/processors/cortex-a/index.php 目前各类应用中Cortex-A9仍是主流

2007

2013 2010

2014

125 {ynh,cxh}@ustc.edu.cn ARM Cortex-A Series ARM处理器系列 ARM Cortex-R Series ARM Cortex-M Series

2013年ARM处理器出货超过100亿；1991年以来，ARM 的累计出货了已突破了500亿颗（截至2014年3月）！

2010 2007 MPCore

ARM11之后，不再以ARM作为前缀。ARM这个单词并没有消失，Cortex的三大系列M-R-A，合起来就是ARM。

假如说每颗处理器的边长是1厘米，那么这500亿颗肩并肩排起来，足足可以环绕地球赤道12.5圈，伸向太空则可以远远超过月球。 126 {ynh,cxh}@ustc.edu.cn http://www.arm.com/products/processors/index.php ARM处理器都去哪了？

127 {ynh,cxh}@ustc.edu.cn http://news.mydrivers.com/1/298/298954.htm 小结：数码相机主要模块的技术分析

镜头技术参数  MTF曲线表征了镜头对低/高空间变化率的响应情况 图像传感器技术参数  像素间隔（微米）越大，SNR越高 影像处理器  ASIC + 专有CPU  ASIC + MPU MIPS ARM  ASIC + DSP + MPU?

128 {ynh,cxh}@ustc.edu.cn 专题：数码相机技术

129 {ynh,cxh}@ustc.edu.cn 单反、单电、微单

Digital Single Lens Reflex camera (DSLR) 单反单电 Single Lens Translucent camera (SLT)  小型化 Mirrorless Interchangeable-Lens Camera(MILC) 微单  Electronic Viewfinder with Interchangeable Lens(EVIL)  Electronic ViewFinder (EVF) 单电和微单的区别是  单电还保留了反光镜相位对焦结构，只不过活动的反光板被固定的半透镜代替了，从而减少了机震和大幅度提高连拍速度，以及高速连拍中仍然继续连续对焦。  微单则完全取消了反光板这个结构，所以对焦只能靠反差对焦和CMOS上集成的相位对焦点。取景器微单和单电一样，没区别。

130 {ynh,cxh}@ustc.edu.cn Single-lens translucent (SLT) cameras

没有反光镜的移除过程

Single-lens translucent (SLT) cameras were first developed by Sony in 2010.

没有反光镜的移除过程意味着： • 对焦系统可以持续工作 • 更高的连拍帧率 • 耗电量 • 影像处理器的能力

131 {ynh,cxh}@ustc.edu.cn 全画幅微单：SONY A99 上市时间：2012-09-12

SONY SLT-A99 单电机身￥14899.00 传感器尺寸 35.8 x 23.9mm CMOS 最大分辨率 6000 x 4000 取景器类型彩色XGA OLED电子取景器图像处理系统 BIONZ 影像处理器镜头类型索尼α系列A卡口镜头和柯尼卡美能达α/MAXXUM/DYNAX镜头重量约728g（仅主机）连拍最快约10张/秒 Sony/索尼 SLT A99套机(配24-70mm镜头) ¥ 25000.00 索尼A99拥有19点AF传感器（其中11个十字对焦点），以及102点焦平面相位检测对焦传感器，两种对焦传感器的配合提供了称为“AF-D”的对焦方式。完全支持索尼A99的102点自动对焦系统的镜头： •Vario-Sonnar T*24-70mm f/2.8 ZA SSM ￥12599.00 焦距 36–105mm / 滤镜口径 77mm / 尺寸（直径 x 长度） 83 x 111mm /重量 955g •50mm f/1.4 •28-75mm f/2.8 SAM 目前单电、微单的镜头支持有限 •70-400mm f/4-5.6 G SSM •500mm f/4.0 G SSM 预计相当长一段时间都有限 •300mm f/2.8 G SSM II 132 {ynh,cxh}@ustc.edu.cn Nikon D800 上市时间：2012-02-06

对焦系统尼康高级Multi-CAM 3500FX 自动对焦感应器模组，具备TTL 相位侦测、微调、51 个对焦点（包括15 个十字型感应器）和AF 辅助照明器（范围约为0.5-3 m）

• Nikon D800 单反配AF-S 24-70mm f/2.8G ED 镜头￥26999.00 • Nikon D800 单反机身￥16799.00 • 传感器尺寸 35.9 × 24.0mm CMOS • 影像高速EXPEED 3画像处理器 • 连拍速度 5fps • 重量约900 g （仅照相机机身）

133 {ynh,cxh}@ustc.edu.cn Nikon D610 上市时间：2012-10-08

尼康Multi-CAM 4800 自动对焦感应器模组，具备TTL 相位侦测、微调、39 个对焦点（包括9 个十字型感应器；光圈为f/5.6 以下和f/8 以上时中央33 个对焦点可用，而f/8 时中央7 个对焦点可用）和AF 辅助照明器（范围约为0.5 至3m）约760g（仅照相机机身）

Nikon D610 单反套机(24-85mm f/3.5-4.5G ED VR) ￥14999.00 Nikon D610 单反套机(24-120mm f/4G ED VR) ￥18660

Nikon D610 单反机身￥11160.00 35.9×24.0mm CMOS 影像高速EXPEED 3画像处理器

每秒6幅连拍 134 {ynh,cxh}@ustc.edu.cn 全画幅微单：SONY α7 上市时间：2013-10-16

索尼（SONY） α7/ILCE-7 微单机身￥9000 传感器尺寸 35.8x23.9mm 最大分辨率 6000 x 4000 镜头类型索尼E卡口镜头图像处理系统 BIONZ X影像处理器约416g（仅主机）连拍支持

SONY α7K/ILCE-7K（28-70mm）全画幅微单套机￥10380.00 套机镜头：FE 28-70mm f/3.5-6.3 OSS ￥2500.00 ●等效焦距：APS-C画幅下的35MM规格换算焦距：42-105mm ●滤光镜直径：约55mm ●尺寸（最大直径×长）：约72.5mm×83mm ●镜头重量：295g

SONY E 18-200mm f/3.5-6.3 OSS（SEL18200）￥5000 ●35mm等效焦距27mm-300mm ●滤光镜直径：约67mm ●尺寸（最大直径×长）：约75.5mm×99mm ●质量：约524g 135 {ynh,cxh}@ustc.edu.cn 全画幅微单：SONY α6000 上市时间：2014-04

136 {ynh,cxh}@ustc.edu.cn 数码相机市场 2013年，DSLR/SLT/MILC

从2010年开始的单电/微单相机狂潮在2013年仍然继续

137 {ynh,cxh}@ustc.edu.cn 数码相机市场 2013年，DC/SmartPhone

Sales of traditional digital cameras have declined due to the increasing use of smartphones for casual photography, which also enable easier manipulation and sharing of photos through the use of apps and web-based services. "Bridge cameras", in contrast, have held their ground with functionality that most smartphone cameras lack, such as optical zoom and other advanced features. DSLRs have also lost ground to Mirrorless interchangeable-lens camera (MILC)s offering the same sensor size in a smaller camera.

138 {ynh,cxh}@ustc.edu.cn http://en.wikipedia.org/wiki/Digital_camera 手机 相机

In response to the convenience and flexibility of smartphone cameras, some manufacturers produced "smart" digital cameras that combine features of traditional cameras with those of a smartphone. In 2012, Nikon and Samsung released the Coolpix S800c and Galaxy Camera, the first two digital cameras to run the Android operating system. In an inversion, some phone makers have introduced smartphones with cameras designed to resemble traditional digital cameras. Nokia released the 808 PureView and Lumia 1020 in 2012 and 2013; the two devices respectively run the Symbian and Windows Phone operating systems, and both include a 41-megapixel camera. Similarly, Samsung introduced the Galaxy S4 Zoom, having a 16-megapixel camera and 10x optical zoom.

139 {ynh,cxh}@ustc.edu.cn 不用对焦的Lytro光场相机

搜狐科学，《前沿科技》 http://it.sohu.com/qianyankeji/index.shtml {ynh,cxh}@ustc.edu.cn 小结：高质量相机小型化单反、单电、微单

单反、单电、微单  Digital Single Lens Reflex camera (DSLR) 单反  Single Lens Translucent camera (SLT) 单电  Mirrorless Interchangeable-Lens Camera(MILC) 微单 微单  2012-02-06: 全画幅单反 Nikon D800 ￥16799.00  2012-09-12: 全画幅微单 SONY A99 ￥14899.00  2012-10-08: 全画幅单反 Nikon D610 ￥11160.00  2013-10-16: 全画幅微单 SONY α7 ￥9000 其他发展趋势  DC与SmartPhone的功能融合  Lytro光场相机 141 {ynh,cxh}@ustc.edu.cn 专题：数码相机技术

历史：从小孔成像到电子成像 结构：数码相机的结构与原理 功能：数码相机的功能特性 分析：数码相机主要模块的技术分析 未来：小型化高质量数码相机？  高质量相机小型化：单反、单电、微单  小型相机高质量化：智能手机是相机市场的搅局者 手机上的MEMS 手机上的图像传感器

142 {ynh,cxh}@ustc.edu.cn Micro Electro Mechanical System

微电子机械系统(Micro-Electro-Mechanical Systems ，MEMS)又称为微系统(Microsystems)或微机械 (Micromachine)，是利用微细加工技术(Micromachining 或Microfabrication)和集成电路(Integrated Circuit，IC) 制造技术把在硅片或者其它基底上把微结构、微传感器、微执行器和控制处理电路和接口、通信和电源等集成制造在一块或多块芯片上的可批量制作的微型集成系统，其特征尺寸为 10-6~10-3m，与集成电路芯片的大小相近。 1993 年，美国 ADI 公司采用表面硅工艺成功地将微加速度计商品化，并大批量应用于汽车防撞气囊，开始了 MEMS 技术的商品化。

{ynh,cxh}@ustc.edu.cn Rotary Electrostatic Micromotor

1988年,转子直径120微米，厚1微米。在 380V电压驱动下，最大转速每分钟500转。

{ynh,cxh}@ustc.edu.cn 常见MEMS传感器：惯性传感器在消费电子领域使用最为广泛

惯性传感器是检测和测量加速度、倾斜、冲击、振动、旋转和多自由度 (DoF)运动的传感器。

iPhone 4是全球首支内置 MEMS陀螺仪的智能手机。目前手机内加速度传感器、麦克风（部分）和陀螺仪都使用了MEMS技术

[2008年9月4日]奥林巴斯“u1050SW”相机可通过敲击LCD显示屏或机身外壳来改变设置、拍照和查看拍摄的照片。 “敲

击控制”功能借助一枚三维加速度传感器实现。 {ynh,cxh}@ustc.edu.cn MEMS麦克风

146 {ynh,cxh}@ustc.edu.cn http://www.akustica.com VCM对焦

手机自动对焦功能是通过将摄像头锁入音圈马达（ VCM, Voice Coil Motor）。VCM由线圈，磁铁组和弹片构成，线圈通过上下两个弹片固定在磁铁组内，当给线圈通电时，线圈会产生磁场，线圈磁场和磁石组相互作用，线圈会向上移动，而锁在线圈里的摄像头便一起移动，当断电时，线圈在弹片弹力下返回，这样就实现了自动对焦功能。

147 {ynh,cxh}@ustc.edu.cn mems|cam模组

MEMS|cam 镜头组光学结构

[2013年10月8日]OPPO抢下mems|cam模组制造商DigitalOptics公司的首笔量产订单。

• 镜头中心偏移量方面，VCM一般控制在50us左右，MEMS可以做到0.1us;而对画质影响非常重大的镜头组光轴偏斜， VCM的平均误差是0.26度，MEMS则只有0.05度。 • VCM可做到500us甚至1ms的位移，MEMS只能实现80us。 • 对于小行程下大对焦范围的需求，需使用景深极浅的特殊镜头，这类镜头的偏光角度更大，画质不如主流的VCM镜头。 148 {ynh,cxh}@ustc.edu.cn iPhone的CMOS Sensor

iPhone5s增加像素尺寸到1.5µm。传感器大小和裁切系数的不同，也让iPhone 5和5S的等效焦距有所不同，iPhone 5的是 33mm，iPhone 5S的是29.7mm，iPhone 4S的是35mm。 150 {ynh,cxh}@ustc.edu.cn http://forums.appleinsider.com/t/160543/review-sonys-high-end-cyber-shot-qx100-wireless-camera-lens-for-iphone 2款NIKON卡片机

NIKON Coolpix S3500 约￥500 光学变焦倍数 7倍焦距（相当于35mm） 26-182 mm 镜头类型伸缩式（尼克尔镜头）传感器尺寸 1/2.3英寸最大分辨率 5152 x 3864 数据接口 A/V输出；USB 1/2.7" 5.27x3.93mm 1/1.8" 7.18x5.32mm Nikon COOLPIX S6600 数码相机￥1800 2/3" 18x13.5mm 光学变焦倍数倍 APS-C 23x16mm 12 APS-H 28.7x19.1mm 焦距（相当于35mm） 25-300mm APS 36x24mm 光圈范围 f/3.3-6.3 镜头类型伸缩式传感器尺寸 1/2.3英寸最大分辨率 4608 x 3456 数据接口 A/V输出；USB；HDMI输出附加功能 Wi-Fi（无线局域网络）标准：IEEE 802.11b/g/n (标准无线局域网络协议) 151 {ynh,cxh}@ustc.edu.cn Sony's high-end Cyber-shot QX100 wireless camera lens for iPhone

DSC-QX100机身采用卡尔•蔡司Vario- Sonnar T* 镜头，并搭载一枚1英寸 Exmor R CMOS背照式传感器。可以通过NFC(近场通信)一触™功能以及WiFi 即时分享功能和手机实现连接。

The Cyber-shot DSC-QX100 is the high-end version of Sony's newly released iPhone- compatible wireless camera accessories, packing in a Carl Zeiss lens at an attractive price point. 152 {ynh,cxh}@ustc.edu.cn http://forums.appleinsider.com/t/160543/review-sonys-high-end-cyber-shot-qx100-wireless-camera-lens-for-iphone 诺基亚Lumia 1020

2013年7月11日23点，诺基亚Lumia 1020正式在纽约发布亮相。该机采用了4100万像素的背照式摄像头，诺基亚称之为迄今为止最为先进的背照式感光元件。  4100万像素传感器、6块蔡司光学镜头和光学防抖  Pro Camera软件，帮助调整曝光度，白平衡，快门时间和胶片ISO值  相机镜头中加入了滚珠轴承，以确保在弱光条件下拍出更好的照片以及更平稳的视频  自由的编辑，包括重新分帧和重新缩放  进行摄像的时候，你可以使用6倍变焦而不会带来任何画面质量的损失

153 {ynh,cxh}@ustc.edu.cn 41个Lumia 1020d的购买理由

诺基亚给出的理由多为与拍照相关的内容

154 {ynh,cxh}@ustc.edu.cn 部分手机sensor尺寸对比

Width Height Area Type (mm) (mm) (mm2) 1/3.6" (Nokia Lumia 720) 4.00 3.00 12.0 1/3.2" (iPhone 5) 4.54 3.42 15.50 1/3" (iPhone 5S) 4.80 3.60 17.30 1/2.5" (Nokia Lumia 1520) 5.76 4.29 24.70 (Sony Cyber-shot DSC-T5) 2/3" (Nokia Lumia 1020, 8.80 6.60 58.10 Fujifilm X-S1, X20, XF1) 1/1.2" (Nokia 808 PureView) 10.67 8.00 85.33 Standard 35mm film frame 22.0 16.0 352 Super 35mm film frame 24.89 18.66 464 35mm full-frame, 35.8–36 23.9–24 856–864 (Nikon FX, Sony α, Sony FE, Canon EF) IMAX film frame 70.41 52.63 3706

155 {ynh,cxh}@ustc.edu.cn http://en.wikipedia.org/wiki/Image_sensor_format 小结：小型相机高质量化智能手机是相机市场的搅局者

MEMS  Micro Electro Mechanical System 智能手机的MEMS  加速度传感器、麦克风（部分）和陀螺仪  VCM（Voice Coil Motor）对焦  DigitalOptics公司的mems|cam模组 智能手机的CMOS Sensor  iPhone5S: 1/3" 4.8mm*3.6mm  诺基亚Lumia 1020: 2/3" 8.8mm*6.6mm

157 {ynh,cxh}@ustc.edu.cn 数码相机技术的前生今世

历史：从小孔成像到电子成像  1914年，第一台使用35毫米胶卷的135相机 结构：数码相机的结构与原理  镜头、图像传感器、影像处理模块  数码单反的光学取景 功能：数码相机的功能特性  焦距与变焦、景深/光圈、感光度、测光，曝光与曝光补偿、自动对焦 分析：数码相机主要模块的技术分析  MTF曲线、像素间隔（微米） 未来：小型化高质量数码相机？

158 {ynh,cxh}@ustc.edu.cn 多媒体通信

专题：数码相机技术的前生今世

谢谢！