首页 > 业内新闻 > 摄像头 > 如何使用移动图卡去测试图像质量

如何使用移动图卡去测试图像质量

52RD.com 2018年1月10日 我爱研发网            参与:2人 我来说两句
  摘要

  在测试一个相机的基本概念就是去拍摄一个已知的图卡,并且对成像图卡进行分析。这种方法可以用于测试影响成像质量的不同因素。相机的每一个环节都可能对结果产生影响:镜头,传感器,图像处理器和图卡本身。测试的结果也是相对于整个成像系统的。如果我们想单独测某一个单一的部件,我们必须要保证只更换其中的一个,其余部件都保持一致。当我们在测试手机设备时,我们就会看到一些问题,测试者很难去手动控制一些因素。对于大多数设备,几乎是不可以手动曝光,也不能去调整对焦,并且在图像处理的过程是不可能更改的。由于在硬件上的限制,图像处理器(DSP)中的图像通道在图像质量评估中是很重要的一部分。图像处理器是允许锐化,色调修正和降噪处理。这样对于客观的图像质量评估就更难去描述。图像质量受到信号处理的影响很大,例如噪声,分辨率。对于低对比度损失,细节,和纹理模糊,信号处理是主要因素。我们尽可能的把我们在图像处理上的细节表现出来。所有标准测试方法使用一个预设好的图卡,并且要求图卡和相机在测试过程中不能有任何移动。在本文中,我们呈现了在测试中,图卡的运动对结果造成的影响。图卡上有不同的结构,并且在拍摄过程中图卡以定义好的速度进行移动。我们会改变运动速度,图卡速度随之改变。通过已知的速度和测量的曝光时间,我们可以计算理论上的运动模糊。我们把理论上的结果和测试的结果进行比较。我们使用不同的方法去评估图像质量参数和图卡的运动速度。使用斜边用于获得SFR并检查图像锐化。测试纹理是使用枯叶图结构。理论上的结果和测试结果分别和速度画出曲线,从而进行观察结果。

  介绍

  IE自己开发出一个系统,让图卡在设定好的场景中运动,如果相机还能拍摄到图像,并且主观打分,给出评价。这种就适合于拍摄运动物体。适用于安防一类的,在拍摄运动的汽车或人的时候。

  设置

  硬件和图卡

  硬件的组成如图1所示。测试场景使用的光源是可控的。图卡可以以预设好的速度在左右来回运动。

  待测设备在图卡左右移动的时候去拍照或拍摄视频。在我们的测试中,图卡的移动速度在0.01m/s到2m/s之间(见图2)。使用的图卡是由不同的结构组成(图3):

  “彩色枯叶图”枯叶图结构用于客观图像的质量评价有一段时间。它被用于评价纹理损失,也就是低对比度的损失及降噪和使用合适的滤光片后的图像细节。

  斜边 斜边是用于评估相机系统SFR的标准结构。基本的方法在ISO12233中有描述。斜边的对比度对SFR有着影响。我们使用的是80%对比度的斜边。我们决定使用这个对比度得到图像增强的一些信息和锐化而不是镜头分辨率的测量。在现在的相机的系统中,信号处理是一个很重要的部分,对于结果有着很大的影响。对比度越高,用于图像中的斜边的锐化越高。

  中性灰 增加在枯叶图结构上的相机的噪声对于测量有着影响。为了减少这种影响,使用中性灰图块去修正。

  灰阶 所有的相机在拍摄照片或视频的数据是非线性的响应曲线。因为分析算法是假设线性响应,图像数据必须进行线性化。灰阶是用来获得OECF,使用OECF一个逆差表就可以被创建应用到图像中。

  标记点 标记点只用于标记位置,不用于分析。标记点之间的距离用于计算图卡的速度。

  算法

  斜边

  斜边的算法在ISO12233中有描述并且是基于图像中还原的斜边。第一步是在每一行定位斜边。使用这个数据就可以计算出图像中斜边的偏移和斜率。斜边的描述习惯于计算过采样像素行。这个是通过装箱过程完成的,把图像中的每个像素放进箱体中,每个像素到拟合的斜边都是有固定的距离。所以每个像素的二维坐标就会变成一维,只用到斜边的距离去描述。

  对于斜边的过采样也就是常说的边缘扩展函数ESF。ESF的一阶导数就是线扩展函数LSF。斜边的SFR就是LSF的傅里叶变换。在进行变换之前,数据窗口化以避免泄露(图4)。

  枯叶图-SFR

  获得SFR的基本概念时候测量图像中的功率谱(PS)。图像就是待测设备对着枯叶图卡拍摄的。枯叶图本身的PS是知道的,因此很容易把这两个PS区分,能从中得到SFR。已经有研究,这种算法是受到相机噪声的影响,所有通过在灰阶上的参考测量扩展算法。

  通过这些步骤完成计算,假设待测设备已经还原枯叶图并且参考图即枯叶图结构上的平均值是均匀的。

  使用图卡本身的原始数据计算PStarget(f)(图卡本身的PS)。

  读取枯叶图块的ROI,参考图块和灰阶。

  从图像数据中的灰阶计算OECF和这些快的反射。这里的OECF就是反射和Y(R,G,B的加权和)的一个函数。

  从参考图和拍摄的RGB图像中计算Y

  使用OECF的倒置进行线性化。

  计算PSimage(f)(从枯叶图块)和PSnoise(f)(从参考图块)。

  使用公式1计算SFR(f)

  PS的计算包含了把2D图谱还原到1D数据的过程,SFR的计算包含了标准化。算法里提供了空间频率响应,因此也就有空间频率和响应的一个函数。因为这很难去做比较,把这些函数减少到一个数值。我们使用两种方法:

  MTF50  MTF50数值是最高空间频率值,即导致调制度或空间频率响应≤50%。如果检查镜头的性能,这个值更相关于相机系统中间频率的性能。值越大,越好。

  “Acutance” 这个值需要更复杂的计算。想法是把人眼视觉对比度灵敏度函数(CSF)考虑进来,这样就可以权衡一个系统相对于空间频率的重要性的性能。获得的SFR和CSF相乘并在一定的空间频率范围内进行积分。得到的结果越高,待测设备的性能越好。因为CSF在计算的时候指定观察条件,我们选择0.5m距离在96ppi显示器上100%观察。

  视频测试

  最明显的测试是使用移动的图卡去测试视频文件的图像质量。这个文件一般相机都可以创建或者是不同的视频解码器进行创建。

  相机比较

  流程

  待测设备要在两种不同的光照条件下去拍摄移动的图卡。“Bright”是指采用1310lx的D65光源。“Dark”是指卤素灯,图卡表面的照度是107lx。拍摄的文件导出到PC上,使用ffmpeg提取帧。分析这些文件。

  结果

  移动图卡的速度已经知道,成像面上的物体移动速度主要取决于曝光时间。对于许多设备,我们不知道曝光时间,特别是在视频模式下。

  在本文中,我们呈现了佳能5D MkIII和苹果5的测试结果。佳能相机是一个全帧的单反相机。

  图5展示了彩色的枯叶图,并展示了细节。图5a显示了没有运动的时候的细节,图5b显示了物体在0.2m/s运动时的细节。两款不同的相机在bright和dark条件下拍摄得到所有图像。

  从图中可以看出,单反相机在低对比度上的还原性能比较好,相对于暗环境,明亮环境下细节好一些。所以纹理损失随着灯变暗丢失的越多。和单反相机比较,iPhone5性能不是很好,但是亮环境和暗环境下之间的差异很低。

  图像的观察也可以以数据的形式,见图6.图6a描绘的是锐度和物体速度的曲线。

  对于佳能相机可以观察到一个很明显的损失,也就是在照度从明亮变暗的时候。图6b可以观察到对于低速的时候,佳能相机的锐度改变不大,而iPhone5变化大。对于iPhone5和我们上面分析枯叶图基本一样,变化不是很大,而佳能相机有着很明显的变化。随着速度的增加,锐度的斜率要比MTF50值的斜率要低。我们把这种现象解释为在佳能相机中使用了锐化,而在iPhone5中使用的锐化比较低。

  随着速度的增加,锐度的损失比较明显,主要取决于测试设备的实际使用的曝光时间。这一次很难高精度测量,也许改变曝光,使用一个移动的图卡去观察不同相机的区别是一个好的方法。

  编码比较

  我们常规使用的图像格式只有一些,但是视频方面使用额解码器却有很多种。不同的解码器之间的一个重要的区别是怎么处理运动的物体。一些简单的编码仅仅是压缩每一帧并且存储全部信息,更复杂的编码是存储关键帧和在这些帧上发生了什么。因此检测图像质量,使用一个移动的物体更有意义。

  流程

  对于这个评估,佳能相机拍摄视频文件并使用不同的解码器转换代码。原始文件是在明亮的条件下进行拍摄的,文件大小是4.02GB。这个文件(原始H.264)使用H.264和MPEG2进行转换代码,得到更小的文件。对于两种解码方式保证文件大小一致。文件解码使用的比特率是1500kBps/1000 kBps/500 kBps/250 kBps,同时相应的文件尺寸大小为85MB/59MB/34MB和21MB。

  结果

  图8显示了数值结果。图中显示了不同的比特率下的物体速度和锐度的曲线。图8a显示了H.264的结果,图8b显示了MPEG-2的结果。图7显示了样本帧。

  H.264解码同时使用高比特率的文件和原始文件很接近,我们可以从数值结果看到也可以目视观察:纹理损失很低,并且和原始之间的差异很小。在低速的时候,对于低的比特率差异也不是很明显。在低速的时候,不同的编码上的图像质量就很明显可见了。

  图像测试

  虽然使用一个移动的物体可以完成视频功能的测试,但是我们还是研究对于图像分析的功能。

  因为我们可以从图像文件中属性信息读取到曝光时间,我们可以计算一个可比较的运动单位,即“pixel per exposure”[px/exp]。这个单位表明了图卡在曝光时移动的距离(像素)并且对于在图像中观察的潜在的运动模糊是一个很好的指示。

  锐化和移动图卡

  现在的数字相机在信号处理上是允许使用图像增强算法的,这样可以优化图像的显示和图像的质量。锐化是提高图像高频,改善斜边外观显示的一个处理过程。如果输入的信号在锐化的算法上包含的高频内容不多,锐化就会减少。一个移动的物体可以被认为是图像上的一个低通滤波器,因此随着速度的增加和高频内容的减少,我们就可以了解锐化算法的影响。

  图9显示了锐度和SFR的关系曲线图,是索尼相机在不同的锐化条件下拍摄的结果。

  我们可以看到SFR受到图像锐化的影响很大。当我们在检查图片时,对于高的锐化,SFR也很高,显示了更多的细节,那么就是ok的,但是差别就很大。对比不同锐化的曲线,锐化的等级越高,由于物体的运动丢失的越多。因此去研究更多的细节的可能方式是图像的锐化对于特定的相机是怎么工作的,结果多少取决于图像增强。

  真实图像结果和模拟结果

  如果我们知道一个物体的运动,我们可以计算理论上的运动模糊。基于不同图像的速度和曝光时间我们模拟出运动模糊。然后我们就可以把理论上的和模拟的结果进行比较。理论上,两种结果应该相互接近。

  对于这个实验,我们使用佳能5D和iPhone5。图10是这次实验的结果,两组图分别是运动速度和锐度的曲线图及运动和MTF50的曲线图。

  可以看到,对于单反相机而言,模拟的和真实的结果比较相近。而iPhone5,我们可以看到有着非常多的区别,特别是在锐度更明显。

  对于这个结果我们从两方面进行分析:

  Rolling shutter effect  在模拟时,我们假设的是全局快门。运动模糊是基于假设曝光时间是整个图像的曝光时间并属性信息中的曝光时间是正确的。这很有可能,这些假设对于手机是不正确的。滚动快门效应是导致畸变而不是运动模糊和减少局部曝光时间。

  Noise 和artifact  通过在原始图像上应用滤波器模拟物体的运动。这个过程是基于一个低通滤波器,它被应用在整个图像内容上。在原始的图像上,运动模糊是在曝光过程造成的。潜在的图像噪声即包含了所有的频率的噪声是不受运动的影响的。因此通过对比图像的功率谱和图卡本身的功率谱,我们得到了对于枯叶图的SFR的评估(见公式1)。

  通过我们制定的观察我们试着去核对两种相法。滚动快门效应看上去是一个合理的解释,图11显示了两张图像的细节。我们看到两张图像中都有很强的运动模糊,因此一个潜在的滚动快门效应看上去很低。

  为了更进一步的调查是什么造成这种差异,把运动模糊的相关知识加到分析过程中。我们计算理论上的运动模糊并应用结果到传递函数PStarget(f)(见等式1)。这个“运动修正枯叶图”方法对于不同的运动应该有着相同的结果。图12 显示了模拟数据的结果。我们可以看到这种方法提供的数据正是我们期望的。

  即使模拟数据看上去是好的,但是这种方法在真实的图像数据中是不能工作的。运动模糊把图卡本身的高频部分减少的太多,导致任何噪声和伪影都会加到图像上,对于SFR结果有很大的影响。图13显示了这种现象。随着运动的增加,在高频部分的响应会增加。因此从根本上我们增加了在这种方法上的假设影响。

  从以上分析中,我们可以看到对于不同的设备采用移动的图卡去分析视频的质量是很有利的。枯叶图结构和相应的算法描述了视频压缩效应,但是会被图像噪声和伪影欺骗。特别是对高速度的运动,对于噪声和伪影的影响在增加。锐化对于枯叶图的影响比较显著。而对于不同的解码器,锐度和速度之间的关系也是一个可研究的参数。52RD.com  微博关注:http://weibo.com/52rd  微信关注:admin_52RD
已有0位网友发表了看法 我来说两句
读取...
相关报道
评 论
业界快讯 NewsMORE>
新闻导航 Navigation
精彩评论 CommentMORE>
xy61215:虽然技术不是自己的,但是这个全球第一屏下指纹意义很大,vivo知道创新就挺好。但是外观系统别在一味模仿ip了
vivo首款屏下指纹技术亮相 基于X20 Pl…
52RD网友:从赚钱角度来说,段永平值得膜拜,但如果VO真的能够长期成长,并且压死确实有不少技术专利累积的华为,那就只能说是科技的悲哀,做导弹的…
OV销量超华为,段永平:狼性文化最终…
52RD网友:不会的,原因有二: 1. 华为不会收购MOTO的; 2. 美国政府因为“安全”也不会同意MOTO被华为收购的。 以上参考,不喜勿赞!O(∩_∩)O~
华为手机被美运营商放鸽子:影响较大,…
52RD网友:还是专心做PC吧,做pc的厂商做手机好像没一个成功的,联想有这些钱不如5年前投资小米,投资小米10%股份,现在也价值200亿美金了,比联想…
空降兵连续离职、战略动荡,联想移动…
52RD网友:现在智能音箱都有屏幕了,google这次在ces联系了好几个厂商再推,这个肯定可以影响手机的使用
手机厂商危险了:2/3智能音箱用户减…
特别推荐 Recommend