MTF측정 [이 혁기님의 자유 계시판 글을 옮겼습니다]

퍼온자료입니다. 참고해주시기 바랍니다.

Performance measurement of Commercial Electronic Still Picture Cameras

1. INTRODUCTION

Complex ESPC(or DSC) system에서 얻어진 상에 대하여 다음의 주로 영향을 주는 요인.

    (1) optical device ? e.g. 상형성과 zooming을 위한 lens system

    (2) opto-electronic(OE) device ? e.g. CCD array sensor

    (3) analog and digital electrical circuitry

상의 질을 향상시키기 위하여 camera의 성능을 이해하고 정확하게 특성화 시키는 것이 중요.



이 논문에서 취급할 ESPC 성능에서 주목되는 3가지 특성

(1) Dynamic range와 sensitivity - Optical signal을 electrical signal로 전환시키는 system(digital camera)의 성능과 효율에 연관. OECF에 의해서 평가.

Opto-electronic conversion function(OECF)의 구성 - minimum exposure level (sensor가 포화되기 이전의 level), maximum exposure level (어떤 입력신호도 감지할 수 있는 level), dynamic range

(2) Fixed pattern noise - OE conversion의 fidelity와 연관.

이상적인 system에서 동일한 graylevel의 모든 pixel은 어떤 image에서도 일정한 illumination을 가지지만,실질적인 system은 그렇지않다.

Peak signal-to-noise ratios(PSNR’s)와 image shading function(ISF)으로 평가

(3) Spatial resolution - intensity의 변화에 따른 detail을 얻을 수 있는 능력과 관련.

MTF(modulation transfer function)에 의해서 얻어짐



실험에서 PC 카메라사용: SONY ICX058AK (768´494 effective pixels) - 색 정보(chromatic information)를 공급하기위해 complementary color filter array가 coating되어있음.

Basic color of CFA : Cy, Ye, Mg, G

CCD output에서 수직 dimension의 2개의 연속되는 CCD pixel들로부터의 signals은 자동으로 축적되며, 이와 같은 4개의 결합된 color signals (C1,C2,C3,C4)은 CCD output port에서 얻어진다.

결합된 color signals와 primary color과의 관계:



C1 = Cy+G = 2G+B,

C2 = Ye+Mg = 2R+G+B,

C3 = Cy+Mg = R+G+2B,

C4 = Ye+G = R+2G

                            


Luminance signal Y:

Y = (C1+C2)/2 or (C3+C4)/2



image data가 인식되어질 때, 4개의 결합된 signals은 analog-to-digital converter(ADC)로부터 판독된다. Y signal은 linear interpolation algorithm에 의해서 얻어진다.



2. MEASUREMENT DESIGN



2.1 Experiment Setup



(1) Light source : 형광 lamp의 light box를 사용

(2) dynamic range, sensitivity, fixed pattern noise 측정: 2inch 정도 지름의 aperture를 가진 검은 종이로 형광 lamp box를 포장. camera에 다른 exposure power를 공급하기 위하여, aperture를 통과한 형광 light의 양을 조절하는 manual iris(적분구의 광 입력부분의 조리개)를 사용.

(3) 그런 다음, 형광 light를 적분구(integrated sphere)에 입사 시킴. 적분구를 통과한 균일한 확산광을 얻을 수 있음. 단계적으로 조정되는 조리개에 의해서 intensity 조절.

(4) Spatial resolution 측정시 투명지에 MTF test pattern을 print하고 light box에 올려놓고 camera를 적절한 거리를 두고 설치.



2.2 procedures



(1) Dynamic range와 sensitivity 측정은 노출시간을 1/30초로 고정하여 14개의 노출 series를 실행함. 이들 노출에 관계된 digital output level은 graylevel range(0에서 255)에 대하여 거의 동일한 간격으로 배열됨. Photometer로 luminance level을 측정한 후, 각 노출 level에 대해 10번씩 시도하여 mean image를 산출. 각각의 mean image에 대하여 중심에 위치한 64´64 pixel 영역의 digital output level을 계산하여 OECF를 구성하는데 사용.

(2) camera의 fixed pattern noise의 측정에 대한 진행은 dynamic range와 sensitivity의 실험과 유사.  fixed pattern noise를 측정하기 위한 exposure level은 sensor pixel들이 포화 되기 이전인 maximum level에 고정됨. Zone 0/1이라 불리는 examination window는 각각 폭의 1/8, 높이의 1/10 크기의 가로, 세로 여백을 가지는 pixel 영역으로 정의됨.

(3) spatial resolution 측정을 위해 MTF test pattern을 image의 중심에 위치시킴.(MTF test pattern은 MTF 측정이 필요한 image 상의 어느 곳에든지 놓을 수 있다.) edge spread function의 정확한 평가하기 위해 black-white edge가 적어도 20주사열(scanning row)에 교차되어야 한다.



3. DYNAMIC RANGE AND SENSITIVITY



(1) ESPC’s의  근본적인 작용 ? optical analog 신호를 electrical digital 신호로 전환.

측정이 더 진행되기전에 working range를 결정하는 것이 중요함

Working range : Minimum exposure level(before the sensor is saturated), maximum exposure level(the sensor can detect any input signal), dynamic range에 의해서 구성되어짐.

Dynamic range: logarithm of ratio Lmin to Lmax로 정의

(2) Sensitivity: input exposure에 대한 output digital level의 plot과의 관계로 관찰될 수 있음. 이 관계는 OECF로 정의됨

Fig. 1에서 PC camera의 OECF 제시. 수직 좌표는 digital output level이며, 수평 좌표는 다음과 같이 정의되는 Log Luminance이다.



Log Luminance = Log(L/L0), where L0 = 1 cdm-2



주의: camera와 노출 조건은 should be tabulated as clear as possible. One can refer to the legend of Fig.1. 여기서, Lmin와 Lmax은 각각 약 8.8과 0.67 cdm-2 이다. 그리고, dynamic range는 어림잡아 22.4 dB이다.



4. FIXED PATTERN NOISE



(1) 어떤 이상적인 imaging system이 확산광원(incoherently source)에 의해서 균일하게 조사될 때, 그 색 구성성분과 luminance signal Y의 image는 완벽하게 균등하다. 그러나, complex ESPC system에서는 각 camera 구성 요소들은 Fig.2에서 보여주는 것처럼 그 신호에 더 많거나 적은 noise를 첨가한다. 이들 noise는 모두 그 image의 intensity의 변화로써 나타남.

(2) Noise 출현의 확률에 근거하여 이들 noise는 두 종류, pattern과 random noise로 특성을 나타냄.

Random noise: shot noise, reset noise, white noise, 1/f noise, interference noise, quantization noise를 포함

Shot noise: 온도의 영향으로 발생되므로 냉각 장치를 이용하여 low level을 유지가능.

Reset noise와 1/f noise: correlated double sampling를 통하여 최소화 시킴

Pattern noise: frame 마다 주목할만하게 변화하지않는 어떤 spatial variation에 관련된다.

Optical, CFA, photo response nonuniformity, interference noise들은 pattern noise의 종류들이다. Pattern noise의 영향을 받아서, 각각의 pixel은 다른 평균값을 가지고, frame의 variation은 spatial noise로서 관찰자에게 나타난다.

Frame averaging은 fixed pattern noise를 제외한 random noise source를 감소시킴.



peak signal-to-noise ratio(PSNR)과 image shading function은 fixed pattern noise와 관련된 camera의 성능으로 이용됨.

PSNR(peak signal-to-noise ratio): mean image 상의 Zone 0/1의 표준편차에 대한 mean digital level의 비율로 정의.



일정한 area A의 image shading function:



SHx(A) = 100 ´ (max(A)-min(A)) / mean(A)



여기서 max(A), min(A), mean(A)는 image area A의 maximum, minimum, mean value

주위: ISF는 percentage(%)단위이다. Fig. 3에서 horizontal coordinate는 pixels에서 normalized window dimension이다. 만약 area matrix의 size가 M´M pixel이고, window dimension이 w pixel이라면, (M-w+1)´(M-w+1) pixel 크기의 새로운 matrix가 생성된다. 새로운 matrix의 element는 original matrix에서 상응하는(일치하는) w´w window의 평균이다.

주의: mean(A)는 모든 w indices에서 original matrix 의 평균을 이용한다. 만약 area A가 plain 하다면, 즉, 모든 element의 값이 같다면 모든 w에 대한 SHx(w)=0 이다. The higher the imaging function, the less smooth the matrix area.



Fig. 3(a)에서, Y mean = 201에 대한 four combined signal, C1, C2, C3, C4의 ISF를 나타내었다.




5. SPATIAL RESOLUTION



Spatial resolution은 어떤 화면에서 spatial intensity 변화의 detail을 얻기 위한 image 장치의 성능을 특성화시킨 parameter이다. MTF는 광학적이고 전기-광학적인 imaging system의 spatial resolution을 설명하기 위해서 이용되었다. MTF는 optical system의 이론적인 평가에 있어서 주요한 역할을 하는 OTF(optical transfer function)의 크기(진폭)이다. 어떤 MTF에서, imaging system으로부터 출력되는 공간 주파수의 wide range에서 사인(sine)파형 신호의 variation reference 또는 clarity는 0에서 1로 그 양을 정한다. 다르게 말하면, MTF는 공간 주파수에 대하여 imaging system이 어떻게 응답하는가에 관한 측정이다.



이 연구에서는, electronic still picture camera의 MTF를 평가하기 위하여 skewed knife-edge method가 이용되었다. 이전에 거론한 것처럼, MTF는 OTF의 크기이다. optical system의 point spread function을 Fourier transform한 것에 의해서 OTF는 얻어질 수 있다. 그러나, electronic sensor array상에서 이상적인 point source 상형성에 의한 PSF를 얻기 위해서는 두 가지 주요한 결점이 있다: perceptible image로부터의 optical power의 부족과 point source의 pattern과 비교되는 electronic sensor의 낮은 해상도이다. skewed-knife method에서, step function으로서 이용되는 black-white edge는 electronic sensor에 충분한 optical power를 공급한다. sensor array의 출력에서 얻어지는 black-to-white pattern은 edge spread function(ESF)과 동일하다. Differentiating ESF는 line spread function(LSF)의 결과이며, 여기서 LSF는 PSF의 one-dimensional version이다. 1D MTF는 ESF의 Fourier transforming에 의해서 이때 얻어진다. 다른 electronic sensor array의 drawback(장애, 방해, 지장)은 point와 edge spread function과 비교되는 poor resolution이다. 그 방법에서, black-white edge는 tilted at a small angle (약 5에서 10도) such that the black-to-white transition of the image runs across several rows of sensor pixels. 각각의 scanning row sample의 pixel은 transition 상의 위치가 다르다. 결국, 적절하게 그들 scanning row를 overlapping하여 더 높은 resolution의 edge pattern을 얻을 수 있고, MTF의 더 나은 평가가 얻어질 수 있다.



6. DISCUSSIONS AND CONCLUSIONS

  

평가 요소

측정방법


dynamic range와 sensitivity
opto-electronic conversion function(OECF)

fixed pattern noise
peak S/N ratio(PSNR)과 image shading function(ISF)

spatial resolution
modulation transfer function (MTF)




이 논문에서 논의된 각 요소들과 기능들의 측정 결과들은 만약 다른 카메라의 데이터와  비교되지 않는다면 그 카메라의 성능을 확인할 수 없다. 카메라의 성능을 제시할 때, 카메라 제조업자들은 testing 조건과 camera의 기능을 명백하게 tabulate 해야 하는데, 그 이유는 이와 같은 complex system에 대하여 광범위한 측정결과가 존재하기 때문이다.



7. REFERENCES





1.      ISO/DIS 14524: 1997 Draft, Photography ? Electronic still picture cameras ? Methods of measuring opto-electronic conversion functions(OECF’s)

2.      S. E. Rechenbach, S. K. Park, and R. Narayanswamy, “Characterizing digital image acquisition devices,” Optical Engineering, Vol. 30, No. 2, pp. 170-177, February 1991.

3.      A. P. Tzannes and J. M. Mooney, “Measurement of the modulation transfer function of infrared cameras,” Optical Engineering, Vol. 34, No. 6, pp. 1808-1817, June 1995.

4.      Sheng-Yuan Lin, Een-Hsin Chan, Wei-Feng Hsu, and Y. Tim Tsai, “Resolution characterization for digital still camera,” in IEEE 1997 International Conference on Consumer Electronics, Chicago, Illinois, USA, June 11-13, 1997, paper FAM 18.6.

5.      “SONY ICX058AK: 1/3 inch CCD Image Sensor for NTSV Color Camera,” SONY Data Menu.

6.      Gerald C. Holst, CCD Array, Cameras, and Displays, pp. 104-118, SPIE Press, Bellingham, Washington USA, 1996.

[이 혁기]