Journal Archive

감시정찰체계는 지상, 해상, 항공, 해양, 우주의 전략과 전술 및 전장 환경에 대한 정보를 수집하고 획득하여, 영상 신호를 제공하는 무기체계를 의미한다. 광역 감시 및 탐지를 위한 감시정찰체계의 EO/IR (electro-optical/infrared) 기술은 전장의 운용성과 전투 효율성을 향상하도록 자율화와 소형화를 접목시켜 발전하고 있다. EO/IR 기술이 발전함에 따라 EO/IR 장비의 주요 구성품인 광학창, 검출기, 전자보드 등 영상신호처리에 대한 기술개발에 대한 중요성이 대두되고 있다.

감시정찰체계의 EO/IR 장비는 목적에 따라 표적 탐지, 추적 등 다양한 방식으로 운용된다. EO/IR 장비에서 사용하는 적외선 검출기(infrared radiation detector)는 적외선 파장의 에너지를 받아 전류 및 전압의 변화를 이용하여 영상신호를 생성하기 때문에 주, 야간 24시간 운용이 가능하다^[1][2]. 그 중에서도 중적외선(mid-wave infrared : MWIR) 검출기는 연기와 먼지, 안개, 대기중의 산란의 영향이 비교적으로 적어 감시정찰체계에서 주로 열 영상을 획득하기 위해 사용된다. 그러나, 적외선 검출기는 구조가 복잡하며, 낮은 대조비와 높은 배경잡음 등 검출 소자 간의 불균일성이 높게 나타난다. 최근에는 더 작고 집적화가 이루어진 초점면 배열(focal plane array : FPA) 형태로 발전이 이루어지며^[3], 화소(pixel)간의 불균일성과 불량픽셀(defective pixel)의 문제가 대두된다. 이를 보완하기 위해 FPGA를 통해 CPU의 처리과정을 줄이는 영상 전처리 기능을 수행하며, 소형 및 경제성이 높은 신호처리보드를 설계하여 사용 가능하다. 본 논문에서는 FPGA (filed-programmable gate array)를 이용하여 실시간 영상 전처리 기능을 설계하였으며, 불균일보정(non-uniformity correction : NUC)과 불량픽셀보정 방법에 대해 기술한다.

적외선 검출기 성능이 끊임없이 발전함에 따라 픽셀 피치(pitch)의 간격이 작아지고, 해상도가 높아지게 되면서 비정상적인 시변 응답 특성을 갖는 불균일이 적외선 영상 이미지에 나타난다^[4][5]. 또한, 적외선 검출기에서 출력되는 적외선 영상 이미지는 불균일 특성뿐만 아니라 특정 픽셀 부분에서 비정상적인 응답 특성을 갖는 불량픽셀이 발생하여, 적외선 영상의 품질을 저하시킨다. 저하된 적외선 영상 이미지는 불균일보정 방법과 불량픽셀보정 방법을 이용하여, 적외선 영상 이미지의 품질을 개선시킬 수 있다. 불균일보정은 균일한 배경온도를 가지는 보정 장비인 흑체(black body)를 이용하여 높은 온도와 낮은 온도의 픽셀 값을 추출하여, 검출기 픽셀 간의 선형관계를 이용하여 이득(gain)과 오프셋(offset) 값을 획득하여 보정하는 방식으로 적외선 검출기의 불균일성을 해결하는 방법이다^[6]-[9]. 불균일보정 기법 중 대표적인 방법은 2-point NUC 방법이 있으며^[10], 정확한 이득과 오프셋 값을 획득 가능하고 구현하기 용이하다는 장점이 있다. 불량픽셀은 불균일보정을 수행하고 온도 변화에 따라 픽셀의 출력 값이 변하지 않고 일정한 출력 값을 가지는 데드 픽셀(dead pixel)과 정상 픽셀의 기준을 만족하지 못하는 베드 픽셀(bad pixel)을 의미하며, 불량픽셀보정은 해당 불량픽셀에 인접한 픽셀을 이용하여 보정하는 방법이다.

본 논문의 구성은 다음과 같다. 2장에서는 적외선 영상 기반 실시간 영상처리시스템을 위한 HW 및 SW 구조에 대해 기술한다. 3장에서는 FPGA 설계 방법에 대해 설명하며, 2-point NUC 방법을 이용한 불균일보정 방법과 불량픽셀보정 방법을 제시한다. 4장에서는 실험 결과로 적외선 원 영상과 불균일보정 방법 및 불량픽셀보정 방법을 적용한 영상을 통해 표적 식별 여부와 분해능(resolution)에 대해 평가하고, 5장에서 결론을 맺는다.

적외선 영상 기반의 실시간 영상처리시스템을 위해 적외선 영상 이미지를 개선시키는 2-point NUC 방법을 이용한 불균일보정과 불량픽셀보정 방법이 있으며, 두 가지 방법을 사용자 또는 부체계로부터 명령을 받아 수행할 수 있도록 그림 4와 같이 실시간 영상 전처리 블록도와 같이 FPGA를 설계하였다. 그림 2에서 불균일보정 셋팅을 송신하고 응답하는 3, 4번 메시지와 불량픽셀보정 셋팅을 송신하고 응답하는 9, 10번 메시지처럼 부체계와 부체계 FPGA는 서로 약속된 BRAM (block ram)을 통해 통신을 수행한다. FPGA 설계 시, 제어신호가 적고 복잡도가 낮은 BRAM은 메모리 맵(map)의 크기를 늘리거나 줄일 수 있고 양방향 통신이 가능하여 BRAM으로 설계하였다.

Fig. 4. 
Block diagram of real-time video pre-processing

먼저, 불균일보정 셋팅 값을 수신한 부체계 FPGA의 프로세스는 AXI 인터페이스를 통해 PS (processing system)의 영상 전처리 제어(video pre-processing control)에서 PL (programmable logic)의 BRAM에 전달한다. PL에서는 BRAM에 접근하여 활성화 신호(enable signal) 값에 따라 불균일보정 수행을 결정한다. 영상 이미지의 픽셀에 필요한 이득과 오프셋 값은 영상 전용 AXI_stream 인터페이스를 통해 DDR 메모리에 저장되어 있는 불균일보정 테이블로 불균일보정을 수행할 수 있게 된다. 다음으로, 사용자의 요청에 따라 불균일보정을 수행한 영상 이미지는 불량픽셀보정을 수행할 수 있다. 부체계 FPGA는 불량픽셀보정 셋팅 값을 수신하여, 불균일보정과 동일한 방법으로 프로세스가 진행된다. AXI 인터페이스를 통해 PL의 BRAM에 전달하며, PL에서는 BRAM에 접근하여 불량픽셀 수행을 활성화 신호 값에 따라 불량픽셀보정 수행을 결정한다. 영상 이미지의 픽셀에 필요한 불량픽셀보정은 AXI_stream 인터페이스를 통해 DDR 메모리에 저장되어 있는 불량픽셀보정 테이블로 불량픽셀보정을 수행할 수 있다.

EO/IR 장비에서는 표적을 탐지하고 추적하는 알고리즘을 통해 임무를 수행하게 되며, 임무 수행을 위해 영상이 실시간으로 개선되어야 한다. 실시간 영상처리를 위해 본 논문에서 제시하는 FPGA 설계 방법은 전처리 제어 단계에서 적외선 영상 이미지를 개선하는 방법으로 탐지와 추적 알고리즘에 필요한 영상지연 요구사항을 충족한다. 그리고 영상 전용 AXI_stream 인터페이스 사용 및 VHDL (VHSIC Hardware Description Language)을 이용한 픽셀 단위의 영상처리는 프레임 단위의 영상처리보다 저지연(low latency)의 효과가 있다. 대부분의 검출기는 공용화된 인터페이스가 아닌 자체 인터페이스를 사용하기 때문에, 검출기가 다른 제품으로 변경될 때마다 보드를 제작해야되는 번거로움과 기능 구현에 다소 시간이 필요하다. 그러나, 본 논문에서 제시한 FPGA 설계는 공용화된 인터페이스 및 자체 인터페이스를 가지는 검출기에도 적용이 가능하며, 인터페이스 호환성 측면에서 우수한 강점이 있다.

1. 2-point NUC 방법을 이용한 불균일보정 방법

2-point NUC 방법은 두 개의 기준 온도인 저온과 고온의 픽셀 밝기 값을 이용하여 각 픽셀에 대한 이득과 오프셋 보정 값을 구할 수 있다. 각 픽셀마다 보정 값을 이용하여 불균일 보정을 계산한 후 불균일보정 테이블에 미리 맵핑함으로써 실시간 영상 이미지 처리가 가능하다.

그림 5는 2-point NUC의 개념을 나타내며, 저온 T_Low 에서 고온 T_High까지의 k와 l 번째의 픽셀 p_(k,l) 별 밝기 값은 선형(linear)하다고 가정한다. 특정 온도 T에 대한 픽셀 밝기 값에 따라 선형 방정식을 활용하여 픽셀 별 k와 l 번째의 이득 G_(k,l)과 k와 l 번째의 오프셋 O_(k,l)의 보정 값을 구할 수 있다. 본 논문에서 기준이 되는 저온과 고온에 대한 픽셀 밝기 값은 정확한 픽셀 별 k와 l 번째의 이득 G_(k,l)과 k와 l 번째의 오프셋 O_(k,l) 값을 획득하기 위해 적외선 영상 이미지의 누적 평균 프레임에 대한 픽셀 별 밝기 값을 평균한 값으로 계산하며, 각각 p-avrTLow와 p-avrTHigh로 나타낸다. 특정 온도 T에 대한 최종 픽셀 별 밝기 값 y_(k,l)(T)은 특정 온도 T에 대한 k와 l 번째의 픽셀 p_(k,l)(T)에 해당되는 k와 l 번째의 이득 G_(k,l)과 k와 l 번째의 오프셋 O_(k,l) 값을 이용하여 수식 1과 같이 계산한다.

Fig. 5. 
Concept of 2-point NUC

y(k,l)(T)=G(k,l)∙p(k,l)(T)+O(k,l)

(1)

여기서, 픽셀 별 k와 l 번째의 이득 G_(k,l)과 k와 l 번째의 오프셋 O_(k,l)의 보정 값으로 계산된 특정 온도 T에 대한 최종 픽셀 별 밝기 값 y_(k,l)(T)은 적외선 영상 이미지의 누적 평균 프레임에 대한 픽셀 별 밝기 값을 평균한 값과 동일하여, 수식 2와 같이 표현할 수 있다.

yk,lT=p-avrT

(2)

픽셀 별 k와 l 번째의 이득 G_(k,l)과 픽셀 별 k와 l 번째의 오프셋 O_(k,l) 값은 각각 수식 3과 수식 4로 나타낸다. 수식 3에서는 저온 T_Low와 고온 T_High에서 k와 l 번째의 픽셀 p_(k,l)별 밝기 값의 차이 대비 저온 T_Low과 고온 T_High에 대한 적외선 영상 이미지의 누적 평균 프레임에 대한 픽셀 별 밝기 값을 평균한 p-avrTLow와 p-avrTHigh의 차이의 비율을 이용하여 계산한다. 수식 4는 저온 T_Low 또는 고온 T_High 기준 적외선 영상 이미지의 누적 평균 프레임에 대한 픽셀 별 밝기 값을 평균한 p-avrTLow 또는 p-avrTHigh에서 k와 l 번째의 픽셀 p_(k,l) 별 밝기 값에 수식 3에서 도출한 k와 l 번째의 이득 G_(k,l) 값을 곱한 결과 값을 뺀 값으로 계산한다.

G(k,l)=p-avrTLow-p-avrTHighp(k,l)TLow-p(k,l)THigh

(3)

Ok,l=p-avrT-Gk,l⋅pk,lTT=TLow or THigh

(4)

2. 불량픽셀보정 방법

불균일보정을 수행한 적외선 영상 이미지는 특정 부분 픽셀이 비정상적인 응답 특성을 갖는 불량픽셀이 존재하여, 영상 이미지의 품질을 저하시킨다. 불량픽셀은 그림 6과 같이 (x, y) 좌표에 대한 표준편차 σ 값이 시간 잡음의 2배보다 큰 값으로 출력되는 픽셀을 데드 픽셀과 베드 픽셀로 선정한다. 선정된 불량픽셀은 불량픽셀보정 방법으로 영상 이미지의 품질을 개선시킬 수 있다.

Fig. 6. 
Conditions selecting of dead pixel and bad pixel

불량픽셀보정은 적외선 영상 이미지에서 선정한 불량픽셀에 대해 가까운 인접 픽셀 값으로 대체하는 방법과 주변 픽셀 값들의 평균 값으로 대체하는 방법이 있다. 본 논문에서는 주변 픽셀 값들의 평균 값으로 대체하는 방법을 사용하였으며, 수식 5와 같다.

본 논문에서 적외선 영상 이미지의 사이즈는 640×512로 가정하였으며, i와 j는 각각 640과 512를 의미한다. 여기서, (x, y) 좌표의 특정 픽셀 p_{(x, y)}은 조건식 k₁, k₂와 l₁, l₂에 따라 주변 픽셀의 개수가 정해진다. 특정 픽셀 기준에서 k₁은 왼 방향의 픽셀을 의미하고 k₂는 오른 방향의 픽셀을 나타내며, l₁과 l₂는특정 픽셀 기준에서 각각 위 방향과 아래 방향의 픽셀을 의미한다. 여기서, (x, y) 좌표의 특정 픽셀 p_{(x, y)}의 왼 방향 k₁과 오른 방향 k₂, 위 방향 l₁, 아래 방향 l₂는 조건식에 따라 각각 m₁, m₂, m₃, m₄의 값을 도출할 수 있다. 계산된 결과 값 p^(x,y)은 최종 불량픽셀을 보정한 값을 의미하며, (x, y) 좌표의 특정 픽셀 p_{(x, y)}에 대해 주변 픽셀 값들의 평균 값으로 나타낸다.

p^x,y=m1⋅pk1=x-1,y+m2⋅pk2=x+1,y+m3⋅px,l1=y-1+m4⋅px,l2=y+1m1+m2+m3+m4if 0<k1<i, then m1=1,   else m1=0if 0<k2<i, then m2=1,   else m2=0if 0<l1<j, then m3=1,   else m3=0if 0<l2<j, then m4=1,   else m4=0

(5)

적외선 영상 기반의 실시간 영상처리시스템을 위해 SW 순차 다이어그램에 따라 사용자가 순차적으로 체계에 불균일보정과 불량픽셀보정 명령을 송신한다. 체계에서는 사용자로부터 전달 받은 명령을 부체계에 전달하며, 부체계에서는 불균일보정과 불량픽셀보정의 명령을 수신하여 적외선 영상 이미지에 불균일보정과 불량픽셀보정을 수행한다. 실험은 세 가지 경우로 나눠 비교하며, 영상 원본과 불균일보정을 수행한 영상을 비교한다. 다음으로, 영상 원본과 불균일보정과 불량픽셀보정을 적용한 영상을 비교하는 실험을 제시한다. 마지막으로, 불균일보정을 수행한 영상과 불균일보정과 불량픽셀보정을 적용한 영상을 비교한다. 실험은 USAF 분해능 테스트 차트 (USAF resolution test chart)를 이용하여 표적 식별 가능 여부, 표적의 분해능에 대해 비교하고 평가한다. 이 때, 표적 식별은 육안으로 표적 식별 여부를 판단하고, 본 논문에서의 광학 성능은 완벽하다고 가정하고 실험을 수행하였다.

그림 7은 적외선 검출기에서 출력한 적외선 영상이 실험 참가자의 손을 식별하여, 순차적으로 원 영상과 2-point NUC 방법으로 불균일보정을 수행한 적외선 영상 및 불균일보정과 주변 픽셀 값들의 평균 값으로 대체한 불량픽셀보정을 적용한 적외선 영상을 나타낸다. 그림 7(a)의 원 영상 대비 그림 7(b)에서 영상 품질이 향상되었음을 확인할 수 있으나, 불균일보정을 수행한 적외선 영상에서는 잔여 불량픽셀이 존재하여 영상 품질 저하를 초래한다. 불균일보정과 불량픽셀보정을 적용한 그림 7(c)는 불량픽셀보정을 수행하지 않은 그림 7(b) 대비 영상 품질이 개선되었음을 확인할 수 있다.

Fig. 7. 
Infrared image that identified the experiment participants hand, (a) Infrared original image, (b) Infrared image performed with non-uniformity correction, (c) Infrared image performed with non-uniformity correction and defective pixel correction image performed with non-uniformity correction and defective pixel correction

그림 8은 USAF를 이용하여 표적을 식별한 적외선 원 영상, 불균일보정을 수행한 적외선 영상 및 불균일보정과 불량픽셀보정을 수행한 적외선 영상을 나타낸다. 이 때, USAF를 이용하여 표적 식별이 육안으로 식별이 가능하지않은 적외선 원 영상 그림 8(a)에 비해 불균일보정을 수행한 적외선 영상 그림 8(b)는 육안으로 식별이 가능함을 확인할 수 있다. 불균일보정과 불량픽셀보정을 수행한 적외선 영상 그림 8(c)는 불균일보정을 수행한 적외선 영상 그림 8(b)처럼 육안으로 표적 식별이 가능하지만, 불균일보정을 수행하고 남은 잔여 불량픽셀을 보정함으로써 개선된 적외선 영상을 획득할 수 있다.

Fig. 8. 
Target identification of infrared images using USAF, (a) Infrared original image, (b) Infrared image performed with non-uniformity correction, (c) Infrared image performed with non-uniformity correction and defective pixel correction

그림 9는 USAF를 이용하여 표적을 식별한 그림 9(a)의 적외선 원 영상, 그림 9(b)의 불균일보정을 수행한 적외선 영상 및 그림 9(c)의 불균일보정과 불량픽셀보정을 수행한 적외선 영상의 분해능 정도를 나타낸다. 그림 9(a)와 그림 9(b)의 분해능은 각각 2군 1매, 3군 4매로 나타나며, 그림 9(a)의 분해능 대비 그림 9(b)의 분해능 정도가 향상되었음을 확인할 수 있다. 그림 9(b)와 그림 9(c)의 분해능은 3군 4매로 동일하지만, 그림 9(c)에서 보여지듯이 그림 9(b)의 표적에서 식별되는 잔여 불량픽셀이 보정된 표적을 확인할 수 있다.

Fig. 9. 
Resolution of infrared images using USAF, (a) Infrared original image, (b) Infrared image performed with non-uniformity correction, (c) Infrared image performed with non-uniformity correction and defective pixel correction

본 논문에서는 적외선 영상 기반의 실시간 영상처리시스템을 위한 HW 및 SW 개발과 FPGA 설계 방법을 제시하였고, 실시간 영상 전처리를 위한 블록에 대해 기술하였다. 또한, 원 영상과 개선된 적외선 영상을 USAF 분해능 테스트 차트를 통해 표적 식별 여부와 분해능에 대해 비교하고 평가하였다. 적외선 검출기에서 출력되는 적외선 영상은 전처리 제어 단계에서 2-point NUC를 이용한 불균일보정을 제시하였으며, 기존 원 영상 대비 영상 품질이 향상되었음을 확인할 수 있다. 특정 픽셀에서 비정상적인 응답 특성을 갖는 불량픽셀을 주변 픽셀들의 밝기 값을 평균값으로 대체하는 불량픽셀보정 방법을 제시하고, 불량픽셀보정이 적용되지 않은 영상 대비 불량픽셀보정을 적용한 영상이 개선되었음을 알 수 있다. 본 논문에서의 실험 결과는 불균일보정을 수행한 영상이 적외선 원 영상보다 영상 품질이 향상됨을 확인할 수 있고, 불균일보정을 수행한 영상은 3군 4매로 적외선 원 영상 2군 1매보다 분해능이 향상되었다. 또한, 불균일보정과 불량픽셀보정을 적용한 적외선 영상은 불균일보정만 적용한 적외선 영상보다 개선된 영상으로 표적을 식별할 수 있음을 보여준다.