点击下方卡片，关注“新机器视觉”公众号
重磅干货，第一时间送达
1873年，科学家约瑟·美(Joseph May)及伟洛比·史密夫(WilloughbySmith)就发现了硒元素结晶体感光后能产生电流，由此，电子影像发展开始，随着技术演进，图像传感器性能逐步提升。
1.20世纪50年代——光学倍增管(Photo Multiplier Tube，简称PMT)出现。2.1965年-1970年，IBM、Fairchild等企业开发光电以及双极二极管阵列。3.1970年，CCD图像传感器在Bell实验室发明，依靠其高量子效率、高灵敏度、低暗电流、高一致性、低噪音等性能，成为图像传感器市场的主导。图像传感器的历史沿革——PMT
1.光电倍增管（简称光电倍增管或PMT），真空光电管的一种。工作原理是：由光电效应引起，在PMT入射窗处撞击光电阴极的光子产生电子，然后由高压场加速，并在二次加工过程中在倍增电极链中倍增发射。
2.光电倍增管是一种极其灵敏的光检测器，可探测电磁波谱紫外，可见和近红外范围内光源，提供与光强度成比例的电流输出，广泛应用于验血，医学成像，电影胶片扫描（电视电影），雷达干扰和高端图像扫描仪鼓扫描仪中。1.数字成像始于1969年，由Willard Boyle和George E. Smith于AT＆T贝尔实验室发明。
2.最初致力于内存→“充电'气泡'设备”，可以被用作移位寄存器和区域成像设备。3.CCD是电子设备，CCD在硅芯片（IC）中进行光信号与电信号之间的转换，从而实现数字化，并存储 为计算机上的图像文件。4.2009年， Willard Boyle和George E. Smith获得诺贝尔物理学奖。1.1997年，卡西尼国际空间站使用CCD相机（广角和窄角）
2.美国宇航局局长丹尼尔戈尔丁称赞CCD相机“更快，更好，更便宜”；声称在未来的航天器上减少质量，功率，成本，都需要小型化相机。而电子集成便是小型化的良好途径，而基于MOS的图像传感器便拥有无源像素和有源像素（3T）的配置。1.CMOS图像传感器使得“芯片相机”成为可能，相机小型化趋势明显。
2.2007年，Siimpel AF相机模型的出现标志着相机小型化重大突破。3.芯片相机的崛起为多个领域（车载，军工航天、医疗、工业制造、移动摄影、安防）等领域的技术创新提供了新机遇。1.1995年2月，Photobit公司成立，将CMOS图像传感器技术实现商业化。
2.1995-2001年间，Photobit增长到约135人，主要包括：私营企业自筹资金的定制设计合同、SBIR计划的重要支持（NASA/DoD）、战略业务合作伙伴的投资，这期间共提交了100多项新专利申请。3.CMOS图像传感器经商业化后，发展迅猛，应用前景广阔，逐步取代CCD成为新潮流。2001年11月，Photobit被美光科技公司收购并获得许可回归加州理工学院。与此同时，到2001年，已有数十家竞争对手崭露头角，例如Toshiba，STMicro，Omnivision，CMOS图像传感器业务部分归功于早期的努力促进技术成果转化。后来，索尼和三星分别成为了现在全球市场排名第一，第二。后来，Micron剥离了Aptina，Aptina被ON Semi收购，目前排名第4。CMOS传感器逐渐成为摄影领域主流，并广泛应用于多种场合。
1990年：NHK/Olympus,放大MOS成像仪(AMI)，即CIS1998年：单芯片相机，2005年后：CMOS图像传感器成为主流。CMOS图像传感器（CIS）是模拟电路和数字电路的集成。主要由四个组件构成：微透镜、彩色滤光片 （CF）、光电二极管（PD）、像素设计。1.微透镜：具有球形表面和网状透镜；光通过微透镜时，CIS的非活性部分负责将光收集起来并将其聚焦到彩色滤光片。2.彩色滤光片（CF）：拆分反射光中的红、绿、蓝 （RGB）成分，并通过感光元件形成拜尔阵列滤镜。3.光电二极管（PD）：作为光电转换器件，捕捉光并转换成电流；一般采用PIN二极管或PN结器件制成。4.像素设计：通过CIS上装配的有源像素传感器(APS)实现。APS常由3至6个晶体管构成，可从大型电容阵列中获得或缓冲像素，并在像素内部将光电流转换成电压，具有较完美的灵敏度水平和的噪声指标。1.感光元件上的每个方块代表一个像素块，上方附着着一层彩色滤光片（CF），CF拆分完反射光中的RGB成分后，通过感光元件形成拜尔阵列滤镜。经典的Bayer阵列是以2x2共四格分散RGB的方式成像，Quad Bayer阵列扩大到了4x4，并且以2x2的方式将RGB相邻排列。2.像素，即亮光或暗光条件下的像素点数量，是数码显示的基本单位，其实质是一个抽象的取样，我们用彩色方块来表示。3.图示像素用R（红）G（绿）B（蓝）三原色填充，每个小像素块的长度指的是像素尺寸，图示尺寸为0.8μm。滤镜上每个小方块与感光元件的像素块对应，也就是在每个像素前覆盖了一个特定的颜色滤镜。比如红色滤镜块，只允许红色光线投到感光元件上，那么对应的这个像素块就只反映红色光线的信息。随后还需要后期色彩还原去猜色，最后形成一张完整的彩色照片。感光元件→Bayer滤镜→色彩还原，这一整套流程，就叫做Bayer阵列。早期的CIS采用的是前面照度技术FSI（FRONT-SIDE ILLUMINATED），拜尔阵列滤镜与光电二极管（PD）间夹杂着金属（铝，铜）区，大量金属连线的存在对进入传感器表面的光线存在较大的干扰，阻碍了相当一部分光线进入到下一层的光电二极管（PD），信噪比较低。技术改进后，在背面照度技术BSI（FRONT-SIDE ILLUMINATED）的结构下，金属（铝，铜）区转移到光电二极管（PD）的背面，意味着经拜尔阵列滤镜收集的光线不再众多金属连线阻挡，光线得以直接进入光电二极管；BSI不仅可大幅度提高信噪比，且可配合更复杂、更大规模电路来提升传感器读取速度。帧率（Frame rate）：以帧为单位的位图图像连续出现在显示器上的频率，即每秒能显示多少张图片。而想要实现高像素CIS的设计，很重要的一点就是Analog电路设计，像素上去了，没有匹配的高速读出和处理电路，便无办法以高帧率输出出来。索尼早于2007年chuan'gan发布了首款Exmor传感器。Exmor传感器在每列像素下方布有独立的ADC模数转换器，这意味着在CIS芯片上即可完成模数转换，有效减少了噪声，大大提高了读取速度，也简化了PCB设计。2017年为CMOS图像传感器高增长点，同比增长达到20%。2018年，全球CIS市场规模155亿美元，预计2019年同比增长10%，达到170亿美元。目前，CIS市场正处于稳定增长期，预计2024年市场逐渐饱和，市场规模达到240亿美元。1.车载领域的CIS应用包括：后视摄像(RVC)，全方位视图系统(SVS)，摄像机监控系统（CMS），FV/MV，DMS/IMS系统。3.后视摄像(RVC)是销量主力军，呈稳定增长趋势，2016年全球销量为5100万台，2018年为6000万台，2019年达到6500万台，2020年超过7000万台。4.FV/MV全球销量增长迅速，2016年为1000万台，2018年为3000万台，此后，预计FV/MV将依旧保持迅速增长趋势，019年销量4000万台，2021达7500万台，直逼RVC全球销量。1.HDR解决方案，即高动态范围成像，是用来实现比普通数位图像技术更大曝光动态范围。2.时间复用。相同的像素阵列通过使用多个卷帘（交错HDR）来描绘多个边框。好处：HDR方案是与传统传感 器兼容的最简单的像素技术。缺点：不同时间发生的捕获导致产生运动伪影。3.空间复用。单个像素阵列帧被分解为多个，通过不同的方法捕获：1.像素或行级别的独立曝光控制。优点：单帧中的运动伪影比交错的运动伪影少。缺点：分辨率损失，且运动伪影仍然存在边缘。2.每个像素共用同一微透镜的多个光电二极管。优点：在单个多捕获帧中没有运动伪影；缺点：从等效像素区域降低灵敏度。本文仅做学术分享，如有侵权，请联系删文。
