富士X-Trans图像传感器技术创新的背后故事

2020-04-21
关注
摘要 富士胶片作为图像传感器设计的创新者,比其他任何公司都拥有悠久的历史。

  富士胶片作为图像传感器设计的创新者,比其他任何公司都拥有悠久的历史。

  一、富士超级CCD技术引领未来发展

  在2000年代初期,Fujifilm凭借其Super CCD技术走了自己的路,该技术首次出现在2000年3月发布的FinePix 4700中。

  SuperCCD使用了一个不寻常的八角形感光网格,旋转了45度以使其峰值分辨率达到水平轴和垂直轴,这将在实际拍摄中发挥最大的作用。

  2003年,FinePix F700中的Super CCD SR芯片在每个微透镜下方放置了两个光电二极管(一个大一个小),从而增加了动态范围。

  2005年的FinePix S3 Pro的第二代SR II将较小的光电二极管置于较大的光电二极管之间的空隙中,并为其提供了自己的微透镜。

  2009年,FinePix F200EXR首次推出了Super CCD EXR图像传感器,该传感器具有新设计的彩色滤光片阵列,可以更轻松地进行像素合并,并能够在传感器一半像素曝光期间将信息从时钟中移出。

  结合起来,这些功能使它可以为任何给定的镜头按优先级排列分辨率,灵敏度或动态范围。

  Fujifilm的Super CCD图像传感器产品线在长达十年的使用寿命中经历了多次迭代。上图显示了该时期公司的营销材料,这些图像代表了原始Super CCD(2000,左上),Super CCD SR(2003,右上),Super CCD SR II(2005,下)使用的像素结构。左)和Super CCD EXR II(2010,右下)。

  至于中间的Super CCD EXR(2009,下图),其结构类似于原始的Super CCD,但从左图改变了组成其滤色镜阵列的红色,绿色和蓝色像素的布局就像右图所示。

  最后,在2010年,FinePix F300EXR和Z800EXR中使用的Super CCD EXR II传感器增加了片上相位检测像素,以实现更快的自动对焦,成业界首创,最终被采用几乎所有相机制造商的支持,这使得无反光镜相机革命成为可能。

  Super CCD EXR II还标志着独特的Super CCD传感器布局的最后一次迭代,图像传感器的分辨率随之飙升至水平和垂直分辨率提高所带来的差异减小的地步。

  二、得益于Fujifilm X-Trans,图像更清晰,波纹更少

  但是,尽管超级CCD从内存中消失了,但距离富士胶片图像传感器创新的终结还很遥远。取而代之的是,第一款X-Trans图像传感器与Fuji X-Pro1一起于2012年问世。富士胶片的X-Trans传感器技术遵循了使用独特的彩色滤光片阵列的想法,但它在一个全新的方向上走得更远。

  我已经两次提到滤色镜阵列,而没有描述它们是什么。图像传感器的核心就像是黑白胶片:它们只能看到一系列较亮或较暗的色调,而没有附加颜色信息。为了让他们检测颜色,芯片上基本上涂了一系列微小的红色,绿色和蓝色滤光片,因此每个传感器像素将只响应那些原色之一。好像您有三台相机,每个相机捕获单色的红色,绿色和蓝色图像,然后将它们组合在一起以产生全彩色结果。

  上面的镜头和下面的100%裁剪显示了蓝色织物中颜色混叠的一个很好的例子,这是由模型衣服上的细线图案引起的。在这种特殊情况下,在Photoshop中解决问题可能不会太困难,也许使用色相笔来去除有害的颜色,但是仍然会保留亮度莫尔图案。具有不同色调或较大比例细节图案的主体可能会使去除色彩伪影非常困难或不可能。

  这种方法有两个问题。

  首先,相机必须进行一些数字运算,才能将每个单独的红色,绿色和蓝色像素转换为全彩RGB像素。对于常规传感器而言,这并不是很难解决的问题,但是更大的问题是,当对象包含精细的重复图案时,彩色像素的规则重复图案会导致莫尔图案。(请考虑一下布料或诸如百叶窗之类的物体上的纹理。)如果您曾经将两块窗户的屏幕相互倾斜,那么您会看到冲突的图案所产生的明暗漩涡。当对象上的图案恰巧以错误的方式与传感器上的规则彩色像素阵列对齐时,在相机中可能会发生同样的事情。

  解决此问题的经典方法是将所谓的光学低通滤波器放在传感器前面。这基本上会产生非常受控的图像模糊,因此对象中的锐利边缘和突变的色彩以及色调过渡不会通过与像素图案进行交互而引起问题。修整图像中的尖锐边缘可以消除波纹现象,但要以看起来更柔和的图像为代价。

  真的没有办法解决这个问题。尽管非数学家会告诉您,这是生活中的数学事实。如果对象细节相对于像素间距太细,则在所有情况下都无法保证没有大量的处理或花哨算法。

  此示例显示了颜色和亮度云纹。您可以在底部的裁剪图像的中心看到一些模糊的色度伪像,并且亮度莫尔条纹在右上角尤为突出,其形式为旋涡线,应该是建筑物前部的对角百叶窗。这也是碰巧可以很容易处理颜色混叠的主题,但是对于亮度莫尔图案,实际上没有什么可做的。

  如今,大多数相机都配备了低通滤镜,而由于传感器分辨率超过了许多镜头的分辨能力,低通滤镜无法使用。在许多情况下,镜头无法将细节解析得足够细致以至于引起莫尔纹问题,因此相对于像素的精细间距,它基本上是系统中的低通滤镜。镜头模糊了最好的主体细节,因此相机不需要自己的低通滤镜就可以进一步模糊。

  当然,您会看到以下问题:如果您的镜头可以解决如此精细的细节,会发生什么?

  设计一种不仅具有良好光学特性,而且还可以可靠且可重复地制造的镜片,与科学一样多。任何制造过程都是管理公差,平衡您在理想世界中想要做的事情以及您在工厂车间实际可以实现的事情的游戏。与其他类型的镜片相比,镜片制造更是如此。镜片设计师对冲他们赌注的一种方法是设计镜片,使得没有一个绝对最佳焦点的点,而是一个焦点大致相同的范围。

  这些图在垂直轴上显示模糊,而在水平轴上显示焦距。(我们称它们为景深曲线或DOF曲线。)理论上完美的镜头恰好在一个焦点设置下进入了最清晰的对焦,如左图所示。在现实世界中,镜头的DOF曲线往往会有些平底,这取决于其分辨率极限。镜片设计师有时会故意使曲线的底部变平,但要权衡最终的清晰度以制造出更易于制造的镜片。

  完美的教科书镜头和无限分辨率传感器的理想景深曲线为V形。在现实世界中,大多数镜头被设计为V形底部平坦,这有助于在制造过程中适应零件公差的微小变化。

  大概是六,七年前,我与富士胶片的一些顶级光学设计师发生了令人着迷的坐下来,他们向我解释了这一点。谈话的重点是他们采用了不同的哲学,无论如何都追求最大清晰度,使“ V”的角度尽可能清晰。这意味着图像更清晰,但是波纹如何呢?

  在某种程度上,您的镜头越好,您越有可能在带有重复图案的被摄对象的图像中看到波纹。富士乐意采用这种方法的部分原因是,他们已经想到了采用X-Trans传感器技术的解决方案。

  大多数图像传感器无法直接注册颜色信息,只能以灰色阴影看到世界。要捕获彩色图像,必须将它们与彩色滤光片阵列重叠,以使每个光电二极管只能看到色谱的特定部分,通常是红色,绿色和蓝色。左上方是大多数相机传感器使用的标准“拜耳”彩色滤光片阵列图案,黄色轮廓指示在其上重复阵列的2 x 2像素网格。右图显示了富士独特的X-Trans彩色滤光器阵列,其六到六像素的像素网格更大。较大的网格允许更随机的布局,从而更耐波纹。

  X-Trans通过使用更复杂的彩色滤光片阵列来改变事物。X-Trans不是使用大多数相机使用的2×2 RGBG Bayer图案,而是使用更大的6×6阵列混合像素间距。根据您所看的位置和方向,给定颜色的像素之间的间距可能会有所不同。这为相机的图像处理器提供了更多的空间信息,以帮助您分辨出什么是波纹和什么是主体细节。

  当然,X-Trans仍然具有彩色像素的重复图案,因此不能100%保证您永远不会看到波纹图案。不过,最重要的是X-Trans传感器为相机提供了更广泛的空间频率信息范围,因此其X处理器拥有更多数据可用于在波纹和最大锐度之间达到最佳平衡。它需要进行大量的数字运算,但是不同的空间采样频率为处理器提供了更多信息。

  三、经过多年的发展,X-Trans真正达到了成熟

  像之前的Super CCD一样,Fujifilm的X-Trans传感器技术自问世以来已有十多年的历史。自从第一代X-Pro1于2012年问世以来,随后的三代都对该技术进行了完善和扩展。

  富士胶片在2012年的X-Pro1无反光镜相机中首次亮相了其独特的X-Trans滤色镜阵列。

  首款X-Trans II芯片于2013年在Fuji X100S中首次亮相。富士X-Trans II传感器回溯到之前的Super CCD EXR II设计,增加了片上相位检测自动对焦功能。改进的像素电路还带来了更好的暗噪声抑制,分辨率也从12.3兆像素跃升至16.3兆像素。

  2016年,第三代X-Trans III与富士X-Pro2一同上市。它带来了更高的24.3百万像素分辨率,甚至更多的相位检测自动对焦点,并且从铝线切换到了铜线,同时降低了噪声水平并显着提高了读取速度,从而改善了相机性能。

  2018年,Fujifilm X-Trans CMOS 4传感器与X-T3一起问世。新一代传感器切换到背面照明设计,以提供更好的聚光能力,并再次大幅提升了片上相位检测像素数量,以实现更强大的自动对焦。它还将分辨率提高到了26.1兆像素。

  X-Trans技术是Fujifilm战略的基础。他们将图像质量视为相机的主要差异因素,并为此投入了大量资金来开发自己的传感器技术。X-Trans只是该过程中的最新迭代,这是在处理器技术实现其可行性之前计划的几年。

  富士最新一代的X-Trans传感器设计是X-Trans CMOS 4芯片,如上图所示,它位于X-T3无反光镜相机中。

  当X-Trans首次出现时,我采访富士胶片工程师时,他们的未来计划是我最感兴趣的事情之一。早在2012年,当第一台X-Trans相机问世时,他们就告诉我,到那时为止,他们已经在X-Trans上工作了五六年。为什么要花这么长时间?从X-Trans滤色镜阵列中去马赛克数据以创建相机内的全彩色图像需要大量的处理能力,这远远超出了当时相机内图像处理器提供的功能。大约五年后,处理器技术才得以赶上。

  他们知道更快的处理器即将到来。通过处理器功率图表随时间划一条线并预测最终会有图像处理器可以完成任务,这并不难。因此,他们没有搁置这个想法,而是继续研究这个概念。

  这让我着迷。我想公司根据技术的未来来做出战略决策是司空见惯的,但这是我第一次听到一家相机公司说他们的开发工作是如此具体地基于很长的前瞻性。它也从一开始就影响了他们的镜头设计,旨在实现他们所知道的未来。

  X-Trans滤色镜阵列本身并不是全部。同样重要的是,应具有足够强大的处理器,如此处显示的Fujifilm X-Processor 4芯片,以及对X-Trans传感器的原始文件的强大第三方软件支持。富士为开发两者都付出了巨大的努力。

  四、不仅仅是“仅”聪明的传感器设计

  如今,嵌入式处理方面的改进意味着有足够的力量来节省资源。实际上,当第一台X-Trans CMOS 4相机问世时,它的首次亮相也带来了该公司的第一款X-Processor 4芯片,具有移动四核设计。强大的功能不仅可以使高分辨率的X-Trans彩色滤镜去马赛克,而且可以启动更多的相位检测AF像素,这还使该公司可以将其采样率提高一倍,以实现更可靠的自动对焦和自动曝光,并增加支持用于4K视频捕获。

  当然,Fujifilm还必须加入Adobe之类的软件公司,以便其客户可以在他们选择的成像应用程序中处理其原始图像。那也花了一些时间才能实现,但是如今,原始的X-Trans图像得到了Adobe Photoshop和Lightroom,Phase One的Capture One等应用程序的良好支持,而不仅仅是在富士自己的软件中。之所以如此,是因为Fujifilm竭尽全力促进这一发展,向软件制造商提供支持,并且不为使用其技术收取许可费。

  事实证明,过去几年,Fujifilm的X-Trans技术已真正发挥作用。它提供了一种真正独特的图像质量方法,其先进的自动对焦体系结构与最新X处理器的强大功能相结合,也提供了出色的自动对焦性能。

作者:戴夫·埃特切尔斯(Dave Etchells)

来源:https://www.imaging-resource.com/news/2020/04/20/fujifilm-x-trans-is-it-really-all-that-different

您觉得本篇内容如何
评分

评论

您需要登录才可以回复|注册

提交评论

提取码
复制提取码
点击跳转至百度网盘