Journal Archive

Lee 등.^[63]은 JPEG으로 압축이 수행된 복원 영상의 압축 열화를 제거하고자 광역 수용장 (Wide receptive field) 및 채널 주목 메커니즘을 이용한 네트워크인 WRCAN (Wide receptive residual block with channel attention network)을 제안하였다. WRCAN의 기본 구조는 U-Net 구조를 따르며, 스킵 연결 (Skip-connection)을 통해 고해상도 입력 영상의 컨텍스트를 캡처하여 출력 영상을 정밀하게 국소화 (Localization)하였다. 또한, 가장 깊은 계층에 WRCA (Wide receptive residual block with channel attention) 모듈을 사용한다. 이 모듈은 광역 수용장에서 특징을 추출하기 위해 병렬 아트러스 합성곱 (Parallel atrous convolution)을 갖는 잔차 블록을 사용하였다. 그리고 채널 주목 메커니즘을 통해 각 채널의 가중치를 추출 후 WRCA의 입력 특징 맵과 곱하여 특징 맵의 중요한 채널을 주목하여 사용하는 특징을 갖고 있다. WRCAN의 손실 함수는 식 (3)과 같으며, 네트워크의 최종 입출력 간의 손실 함수와 JPEG 압축 영상의 특성을 나타내는 JPEG 오토인코더 손실 함수로 구성되어 있다. 각 손실 함수는 식 (1)과 식 (2)에 나타나 있다. JPEG 오토인코더 손실 함수는 JPEG 압축 열화를 효과적으로 줄이기 위해 사용되며, 입력 영상과 WRCA 모듈을 제외한 U-Net기반의 오토인코더만을 통과한 출력 영상 간의 MSE (Mean square error)이다.

여기서 M은 영상의 픽셀 수를 의미하며, y_all은 입력 영상을 모든 네트워크에 통과시킨 최종 출력이고, y’은 정답 영상이다. y_AE는 입력 영상을 오토인코더에 통과시킨 출력이고, λ₀, λ₁는 하이퍼 파라미터로 실험적으로 정해진다.

Qing 등.^[12]은 HEVC로 압축이 수행된 복원 영상의 압축 열화를 제거하고자 공간 및 시간 정보를 모두 사용하고 압축된 패치를 적응적으로 활용하여 압축 열화를 제거하는 PSTQE (Patch-wise spatial-temporal quality enhancement)를 제안하였다. PSTQE는 공간 및 시간 정보를 효율적으로 활용하기 위해 공간적 특징 추출 서브넷, 시간적 특징 추출 서브넷을 통해 시공간적 특징을 추출한 후, 융합 서브넷을 통해 패치 별 융합을 수행한다. 공간적 특징 추출 서브넷은 공간 정보를 효과적으로 추출하기 위해 잔차 댄스 블록^[6] 기반의 재귀 잔차 댄스 블록을 사용하며, 시간적 특징 추출 서브넷은 시간 축이 포함된 3차원 공간으로 증류하여 영상 작업에서 시간 정보를 처리하는데 적합한 3차원 합성곱을 수행한다. 융합 서브넷은 공간 및 시간적 특징 맵이 채널 차원으로 연결되고 CSAF (Channel and spatial-wise attention fusion) 블록을 통해 잔차를 더해주어 최종적으로 열화 제거를 위한 프레임 재구성을 수행한다. PSTQE의 손실 함수는 전체 네트워크의 입력과 출력 간의 MSE외에 각 서브넷의 MSE가 추가되며, 식 (7)과 같다.

여기서 y’은 정답 영상이다. y_spa-net는 공간적 특징 추출 서브넷의 출력이며, y_tem-net은 시간적 특징 추출 서브넷의 출력이다. λ₀, λ₁, λ₂는 하이퍼 파라미터로 실험적으로 정해진다.

Yang 등.^[5]은 잠재 표현 공간 (Latent representation)을 저해상도 정답 영상과 동일하게 만드는 가역 네트워크인 InvDN을 제안하였다. InvDN은 먼저 입력 영상을 하 웨이블릿 변환 (Haar wavelet transform)을 통해 열화가 포함된 세개의 잠재 표현 공간으로 변환한다. 그리고 열화가 포함된 잠재 표현 공간의 일부 채널을 사전 분포 (Prior distribution)에서 샘플링된 것으로 대체한 후 저해상도의 입력 영상과 결합하여 열화가 제거된 영상을 얻는다. 가역 네트워크는 기존의 심층 노이즈 제거 모델과 비교하여 다른 특징 추출 접근법을 활용한다. 기존의 기술들은 보통 특징을 추출하기 위해 패딩이 있는 합성곱 계층을 사용하지만, 해당 계층은 네트워크를 비가역적으로 만든다. 따라서 가역성을 보장하기 위해, 합성곱 계층을 사용하는 대신, InvDN은 스퀴즈 계층과 하 웨이블릿 (Haar wavelet) 변환을 사용하여 가역적 특징을 추출한다. 손실 함수의 경우 잠재 표현 공간의 일부 채널을 대체 과정은 아래와 같다.

이때 y는 열화 영상이고, y’_LR은 저해상도의 정답 영상이며 정답 영상을 바이큐빅 (Bicubic) 다운샘플링을 통해 얻는다. 또한 g(•)는 가역 변환을 나타내고, ||•||_m은 m-norm이며, m은 1 또는 2일 수 있다. 대체 과정 후 복원 시에는 역변환 g^-1([g(y)_LR;z_HF])를 사용한다. 역변환 시에 정규 분포 N(0,1)에서 추출한 랜덤 변수 z_HF를 사용한다. 복원 과정 시 손실 함수는 아래와 같다.

Tsai 등.^[8]은 연산량을 줄이기 위해 주목 모듈을 intra/inter-SA (strip attention)로 분리하여 수평 및 수직 방향에 대한 주목 예측 모듈을 수행하는 Stripformer를 제안하였다. 입력 영상이 FEB (Feature embedding block)을 통해 패치의 인코딩 정보가 삽입된 특징 맵이 추출되고, intra/inter-SA를 통해 열화 정보를 얻고, 이를 FEB에서 추출된 특징 맵과 연결하여 열화 성분을 제거하기 위한 신호를 얻는다. 그리고 이 신호를 입력 영상과 합쳐 열화가 제거된 최종영상을 출력한다. Intra-SA 블록에서는 먼저 1x1 합성곱 계층을 통해 계층 정규화를 수행하여 채널의 크기를 절반으로 줄인다. 이후 수평 및 수직 방향에 대해 멀티 헤드 주목 메커니즘 (Multi-head attention mechanism)과 소프트맥스 (Softmax)를 통해 특징 맵을 생성하고 연결 후 다중 계층 퍼셉트론 블록 (Multilayer perceptron block)을 거쳐 Intra-SA주목 맵을 추출한다. Inter-SA 블록은 Intra-SA 주목 맵을 통해 각 행 혹은 열 간 주목 맵을 계산한다. 세부적인 처리 과정은 Intra-SA 블록과 유사하다. 손실 함수의 경우 Charbonnier 손실 함수, 에지 (Edge) 손실 함수 그리고 대조 (Contrastive) 손실 함수로 구성된다. Charbonnier 손실 함수^[64] 의 경우 정답 영상과 출력 영상 간의 픽셀 단위 오차를 측정하되, 패널티 구간을 추가하여 이상치에 강인한 특정을 갖는 손실 함수이다. 에지 손실 함수의 경우 정답 영상과 출력 영상 간 에지 공간에서의 MSE 다. 마지막으로 대조 손실 함수는 수식 (10)과 같으며, 최종 손실 함수는 수식 (11)와 같다.

이때 ||•||₁은 L1-norm이며, 은 사전 학습된 VGG-19에서 추출한 특징 맵을 나타낸다. x는 입력 영상이고, y은 출력 영상, s는 샤프닝 (Sharpening) 처리된 정답 영상이다.

Wang 등.^[10] 은 영상 복원을 위해 계층적 인코더-디코더 네트워크가 구성된 U자형 트랜스포머, Uformer를 제안하였다. Uformer는 오버랩되지 않는 윈도우를 이용한 자기 주목 모듈이 포함된 LeWin (Locally enhanced window) 트랜스포머 블록을 사용하였으며, 다운 및 업샘플링과 스킵 연결을 사용하여 결과적으로 컴퓨팅 자원을 줄이면서 성능을 향상시켰다. 인코더에서는 먼저 합성곱 계층을 통해 특징 삽입 과정을 수행한다. 이후 몇 차례에 걸쳐 LeWin 블록을 통한 주목 맵 추출과 다운샘플링을 반복한다. 이때 LeWin 블록은 모든 패치 간의 전역 자기 주목을 모두 계산하여 장기의존성 문제를 해결하면서 지역적인 컨텍스트를 캡처하도록 설계되었으며, LeWin 블록으로부터 추출된 주목 맵은 디코더로 스킵 연결된다. 그리고 보틀넥 (Bottleneck)에 위치한 LeWin 블록까지 거친 이후에 디코더가 수행된다. 디코더에서는 변조기 (Modulator)로부터 생성된 변조 정보와 함께 전치 합성곱을 이용한 업샘플링과 LeWin 블록을 통한 주목 맵 추출이 반복되어 정답 영상의 손상을 보상하기 위한 특징 맵이 생성되고, 해당 특징 맵을 입력 영상에 더하여 열화가 제거된 영상을 추출한다. 그리고 Uformer의 손실 함수는 다음과 같이 나타낼 수 있다.

이때 열화가 제거된 영상은 y^고, y’는 정답 영상이며, ϵ는 하이퍼 파라미터이다.

Liang 등.^[65]은 얕은 특징과 깊은 특징을 추출하여 낮은 주파수 정보를 보존하면서 초해상화를 수행하는 SwinIR을 제안하였다. SwinIR은 얕은 특징 추출 모듈, 깊은 특징 추출 모듈, 고해상도 영상 복원 모듈로 구성되어 있다. 얕은 특징 추출 모듈은 합성곱 계층을 사용하여 얕은 특징을 추출하며, 복원 모듈에 전달되어 낮은 주파수 정보가 보존되도록 한다. 깊은 특징 추출 모듈은 RSTB (Residual swin transformer block)로 구성되어 있으며, 이는 지역적 주목과 교차 윈도우 반복 방법이 적용된 여러 개의 스윈 트랜스포머와 이전 스윈 트랜스포머와 잔차 연결을 통해 깊은 특징을 추출한다. RSTB를 통해 연산량은 줄이면서 여러 레벨의 특징을 결합할 수 있다. 깊은 특징과 얕은 특징은 결합 후 복원 모듈의 업샘플링 계층을 통해 최종 고해상도 영상을 출력한다. 손실 함수는 L1 손실 함수를 사용하며 수식은 아래와 같다.

여기서 HR은 원본 고해상도 영상이며, SR은 출력된 고해상도 영상이다.

Tian 등.^[66]은 계층적인 저주파수의 특징을 추출하고 이를 고주파수의 특징으로 변환하여 고해상도 영상을 추출하는 LESRCNN을 제안하였다. LESRCNN은 IEEB (Information extraction and enhancement block), RB (Reconstruction block), IRB (Information refinement block) 순서의 3개 블록으로 구성된다. IEEB는 적은 채널의 수를 유지하여 연산량을 줄이면서 잔차 연결을 통해 작은 수의 채널로도 정보를 보존하여 저주파 영역의 특징을 추출한다. RB는 전역적, 지역적 특징을 융합하여 저주파 영역의 특징을 고주파 영역의 특징으로 변환한다. 이 단계에서 업샘플링을 수행하며, 이때 타깃 해상도에 따른 부화소 합성곱 계층을 다르게 하여 연산량을 줄였다. 이후 IRB를 통해 더 정교한 고주파수 성분을 추출하여 업샘플링된 특징과 결합하여 최종 고해상도 영상을 추출한다. 손실 함수로는 MSE 손실 함수를 사용하며 수식은 식 (14)와 같다.

Chadha 등.^[67]은 생성기 (Generator)에서 다수개의 저해상도의 입력 프레임을 순차적으로 특징을 추출하고 다음 프레임의 특징에 투영하여 고해상도 영상을 예측하고, 판별기 (Discriminator)를 통해 예측된 고해상도 영상 여부를 판별하도록 학습하는 네트워크로 구성된 GAN 기반의 iSeeBetter를 제안하였다. 생성기는 다수개의 SISR을 수행하는 모듈과 각 프레임에서 SISR이 수행된 결과를 결합하는 투영 모듈로 구성되어 있다. 생성기와 판별기는 서로 적대적으로 학습하여 높은 성능을 나타낸다. 손실 함수는 MSE 손실 함수, 인식 손실 함수 (Perceptual loss function), 적대적 손실 함수 (Adversarial loss function), TV 손실 함수 (Total-variation loss function)로 구성되어 있다. MSE 손실 함수는 정답 고해상도 영상 과 네트워크를 통해 예측된 초해상화 영상 간의 평균 제곱 오차를 측정하는 손실 함수로 식 (15)와 같다. 인식 손실 함수는 HR과 SR을 VGG 특징 공간에서의 평균 제곱 오차를 측정하는 손실 함수이며 식 (16)에 나타나 있다. TV loss 함수는 식 (17)에 나타나 있으며, 예측된 고해상도 영상 공간에서 수직, 수평 축으로의 분산을 계산하며, 예측된 고해상도 영상이 공간축으로 부드럽게 되도록 출력하여 열화가 제거되는 효과를 얻는다. 적대적 손실 함수는 생성기를 통해 출력되는 초해상화 영상이 판별기의 입력이 들어갔을 때 학습된 판별기의 입력 초해상화 영상을 정답이라고 판단하도록 손실 함수를 정의하는 것으로 식 (18)과 같다.

여기서 W와 H는 x축과 y축 픽셀 좌표를 의미하며, λ₀, λ₁, λ₂, λ₃는 각각 하이퍼 파라미터이다.

Behjati 등.^[68]은 임의의 스케일 팩터 (Scale factor)에 대한 SISR을 수행하는 OverNet을 제안하였다. 네트워크는 저해상도의 입력 영상으로부터 유용한 특징을 추출하는 특징 추출 모듈과 타깃 해상도 N에 대해 추출한 특징을 N+1 크기로 오버 스케일링 (Overscaling)을 수행한 뒤 이를 사용하여 N 크기의 고해상도 영상을 생성하는 오버 스케일링 모듈로 구성되어 있다. 특징 추출 모듈은 특징 채널 간의 종속성을 명시적으로 모델링한 SE (Squeeze-and-excitation) 동작을 수행하여 유용한 특징을 추출한다. 추출된 특징은 바이큐빅 업, 다운샘플링을 수행하는 오버 스케일링 모듈을 통해 최종적으로 고해상도 영상을 얻게 된다. 손실 함수는 다중 스케일 손실 함수 (Multi-scale loss)를 사용하며, 이는 식 (20)과 같다.

여기서 S 는 스케일 팩터 집합이며, bicubic↓은 바이큐빅 다운샘플링을 의미한다. 다중 스케일 손실 함수를 사용하여 서로 다른 타깃 크기로부터 오는 부가적인 정보를 학습하여 성능을 향상시켰다.

Behjati 등.^[69]은 저해상도의 입력 영상을 주파수 대역에 따라 저주파와 고주파로 분류하고, 주파수 대역을 기반으로 낮은 연산량으로 높은 품질의 고해상도 영상을 추출하는 FENet을 제안하였다. FENet은 비선형 모듈과 복원 모듈로 구성된다. 비선형 모듈은 특징을 서로 다른 주파수의 특징으로 분해할 수 있다는 가정하에, 각 성분을 다르게 처리하기 위해 파라미터 수와 비선형 계층의 수를 다르게 처리하여 고주파 성분과 저주파 성분을 분해한 특징을 추출한다. 또한, 고주파 성분 추출 시 풀링과 바이큐빅 업샘플링을 사용하여 고주파 성분을 강조한 특징을 추출한다. 이후 복원 모듈에서 저주파 성분의 특징과 고주파 성분의 특징을 결합하여 최종 고해상도 영상을 추출한다. 손실 함수는 L1 손실 함수를 사용하며, 식 (21)에 나타난다.

Huang 등.^[70]은 RIFE 네트워크에서 코어스 투 파인 전략 (Coarse-to-fine strategy)을 통해 점진적으로 프레임의 해상도를 높여 나가며 플로우를 예측하는 IFNet을 제안하였다. RIFE는 학습 시 더 많은 IFBlock을 갖는 티처 모델 (Teacher model)을 통한 프리빌리지드 지식 증류 (Privileged knowledge distillation)을 통해 성능을 향상시킨다. RIFE는 두 이미지를 퓨전 맵 (Fusion map)을 통해 아래의 수식으로 가중합하여 최종 추론된 이미지를 얻는다. 이는 식 (22)와 같이 표현할 수 있으며, 이렇게 생성된 I^t를 입력으로 RefineNet을 통해 추가적인 고주파 성분을 복원하고 I^t에 더해주어 스튜던트 모델 (Student model) 출력의 열화를 줄인다.

여기서 M은 0 ≦ M ≦ 1의 범위를 가지며, ⊙는 원소 별 곱셈을 의미한다. 또한, IFNet에서 하나의 IFBlock을 통과할 때마다 특징 맵의 크기가 2배씩 커지게 된다. 각각의 IFBlock은 광학 흐름을 점진적으로 업데이트하며, 학습 시 사용되는 티처 모델의 경우 4개의 IFBlock을 사용하고, 스튜던트 모델의 경우 IFBlock의 개수가 3개이다. IFNet의 학습을 위한 손실 함수는 다음 식과 같이 정의된다.

여기서 λ_d은 0.01을 사용하며, L_rec은 스튜던트 모델을 통해 추론된 최종 이미지와 정답 이미지를 각각 5개의 레벨의 라플라시안 피라미드 (Laplacian pyramid)로 구성했을 때의 L1 픽셀 손실을 의미하며, LrecTea은 티처 모델에서 추론된 결과와 최종 이미지와의 5개의 레벨의 라플라시안 피라미드 공간에서의 L1 픽셀 손실을 의미한다. L_dis의 경우 티처 모델이 ItGT을 입력으로 추론한 광학 흐름과 스튜던트 모델에서 추론된 광학 흐름의 L2 손실을 측정하여 스튜던트 모델이 프리빌리지드 지식 증류를 수행할 수 있도록 한다.

Hu 등.^[71] 은 프레임 쌍 간의 다양한 양방향 플로우를 추정 후 합성하여 보간을 수행하는 Many-to-many splatting 방법을 제안하였다. 스플래팅 (Splatting)은 다중 화소를 단일 화소에 매핑하는 방식으로 와핑 결과에 불필요한 구멍 (Hole)이 생기는 문제를 해결하였다. 입력 프레임 쌍이 주어지면, 기존 (Off-the-shelf) 방법으로 양방향 움직임 (Bidirectional motion)을 예측한다. 그리고 이 움직임 예측 값을 움직임 보정 네트워크 (Motion refinement network)에 입력하여 다양한 모션 벡터 (Motion vector) 값을 예측하고, 입력 프레임의 각 픽셀 당 신뢰도 점수 (Reliability score)를 추정한 뒤 병합한다. 모션 특징 인코딩 (Motion feature encoding), 저차원 특징 변조 (Low-rank feature modulation), 출력 디코딩 (Output decoding)으로 구성되는 MRN (Motion refinement network) 파이프라인은 각 픽셀 당 다수 개의 모션 벡터를 예측하면서 기존 광학 흐름을 업샘플링 및 보정하는 역할을 수행한다. 손실 함수는 식 (26)과 같이 Charbonnier loss와 census loss의 합으로 사용한다.

Sim 등.^[72]은 큰 움직임이 포함된 4K 해상도의 영상을 다루기 위해 recursive multi-scale shared structure에 기반한 XVFI-Net을 제안하였다. XVFI-Net은 양방향 광학 흐름을 위한 두 개의 연속된 모듈 (Cascaded module)인 BiOF-I와 BiOF-T로 구성되며, 광학 흐름은 CFR (Complementary flow reversal)에 의해 근사화 된다. 추론 단계에서 BiOF-I 모듈은 입력의 다양한 스케일 (Scale)에서 시작할 수 있으며, BiOF-T 모듈은 프레임 보간의 정확성을 높이면서도 추론 과정이 가속화될 수 있도록 기본 입력 스케일에서 동작한다. 기존 PWC-Net과 같은 고정 숫자의 스케일 레벨의 구조는 다양한 공간적 해상도에 적응하는데 있어 증가한 스케일 깊이를 재학습하였다. 반면, XVFI-Net은 스케일 적응성을 갖추기 위해 어떠한 코어스 스케일 레벨 (Coarse scale level)에서도 광학 흐름을 추정하도록 설계되었다. 따라서 XVFI-Net은 다른 스케일 레벨끼리 파라미터를 공유한다. 또한, XVFI-Net은 큰 움직임을 잘 감지할 수 있도록 스트라이드 합성곱 (Strided convolution)을 사용하여 공간적 해상도가 줄어든 특징을 문맥 특징으로 변환하여 사용하며, 이 문맥 특징 맵은 스케일에 따라 재귀적으로 다운 스케일링이 가능하다. 손실 함수는 멀티 스케일 복원 손실 (Multi-scale reconstruction loss)과 1차 에지 감지 스무드니스 손실 (First-order edge-aware smoothness loss)의 가중치 합으로 구한다.

Kong 등.^[73]은 중간 플로우를 추정한 다음 컨텍스트 기능을 추정하는 파이프라인의 문제를 해결한 IFRNet을 제안하였다. IFRNet은 소형화 및 빠른 추론을 위해 광학 흐름 및 문맥 특징을 별도의 인코더-디코더로 나누지 않고, 단일 인코더-디코더 기반 모델로 병합한다. 인코더에 의해 입력으로부터 피라미드 특징을 추출하고, 코어스 투 파인 디코더를 통해 중간 특징과 양방향 중간 플로우 필드 (Bilateral intermediate flow fields)를 공동으로 보정한다. 따라서, 물체의 움직임이 더 선명해지고 텍스처 세부 정보를 얻을 수 있다. 손실 함수는 다음과 같이 세 가지로 구성된다.

IFRNet은 종단 간 훈련이 가능하며, 중간 프레임을 생성하기 위해 네트워크 출력 Φ~t과 정답 영상 Φtgt 사이에 영상 재구성 손실 함수 L_r을 사용한다. 또한, 프레임 합성 시 조도의 경우 로컬 미니멈 (Local minimum)에 최적화될 가능성이 있어 지식 증류 전략을 사용한다. 하지만, 무차별적인 증류 방식은 원하지 않는 영상 열화를 학습할 수 있기 때문에, 작업 중심 플로우 증류 손실 (Task-oriented flow distillation loss)을 제안하였다. 제안하는 손실 함수는 식 (28)과 같은 일반화된 Charbonnier 손실 함수이다. 여기서 u_s는 스케일 계수가 있는 이중 선형 보간 연산이다. 그 외에도, 개선된 중간 프레임 특징을 얻기 위해 식 (29)와 같이 특징 공간 기하학 일관성 손실 함수 (Feature space geometry consistency loss)를 추가한 특징을 갖고 있다.

Park 등.^[74]은 비대칭 양방향 움직임 추정 (Asymmetric bilateral motion estimation) 모듈과 프레임 합성 모듈로 구성된 역방향 와핑을 기반으로 하는 프레임 보간 네트워크인 ABME를 제안하였다. ABME는 먼저 비대칭 양방향 움직임 추정 모듈에서 대칭 양방향 움직임 필드를 통해 임시 중간 프레임인 앵커 프레임 (Anchor frame)을 보간한다. 이때, 경계 영역에서 폐색으로 인한 오류를 방지하기 위해 마스크를 활용하여 폐색 인식 방식으로 앵커 프레임을 재구성한다. 이후 앵커 프레임에서 두 입력 프레임으로 비대칭 양방향 움직임 필드를 추정한다. 프레임 합성 모듈에서 입력 프레임은 양방향 움직임 필드를 통해 와핑한다. 이러한 와핑 프레임을 위해, FilterNet과 RefineNet으로 구성되어 있으며, FilterNet은 동적 필터를 생성하여 지역 정보를 활용하고, RefineNet은 전역 정보를 사용하여 잔차 프레임을 생성한다. 손실 함수의 경우 비대칭 양방향 움직임 추정 모듈을 위한 손실 함수 와 프레임 합성 모듈을 위한 손실 함수 두 가지로 구성되어 있다. 이는 각각 식 (30), 식 (31)과 같다.

여기서 ρ(x) = (x² + ϵ²)는 Charbonnier 함수이고, L_cen은 Census 손실 함수이다. Φ_B는 역방향 와핑 함수이고, I_t는 추출된 보간 프레임이며, I₀과 I₁은 타깃 프레임이다. 그리고 Vt→0A, Vt→1A는 비대칭 양방향 움직임 필드이다.

표 2는 해상 영상에 대한 압축 열화 제거 기술들의 정량적 지표를 정리한 표이며, 조건 별 가장 좋은 성능을 나타내는 지표는 붉은색으로 표기하였다. 480270 해상도 영상의 실험 결과, PSNR은 WRCAN, InvDN, PSTQE, Stripformer, Uformer 모델 순으로 높았으며, SSIM은 WRCAN이 가장 높은 성능을 보였고, 나머지 기술은 비슷한 수준의 성능을 보인다. 추론 시간의 경우 PSTQE, InvDN, Stripformer가 0.03~0.04 (초/프레임)의 프레임 당 추론 시간을 보여주었으며, 메모리 사용량의 경우 InvDN, PSTQE, Stripformer, WRCAN, Uformer 순으로 적게 사용된 것을 확인하였다. 960×540 해상도 영상의 실험 결과, PSNR과 SSIM에 대하여 각각 WRCAN이 39.6 (dB)과 0.96으로 가장 높았고, PSTQE와 InvDN이 38.2~38.3 (dB)와 0.93 수준의 성능을 보여주었으며, Stripformer와 Uformer가 37.1~37.2 (dB) 및 0.92 수준의 성능을 나타냈다. 또한, 960×540 해상도 영상의 실험 결과는 WRCAN의 PSNR이 39.8 (dB)로 가장 좋은 성능을 보였으며, PSTQE와 InvDN은 38.7~38.9 (dB), Stripformer와 Uformer는 37.6~37.9 (dB)의 성능을 보여주었다. SSIM 지표로는 WRCAN이 0.97 수준으로 가장 성능이 높았고, 나머지 4개의 기술들은 0.94 및 0.95로 성능이 유사한 것을 확인하였다.

또한, 960×540 해상도 영상에 대하여 메모리 사용량은 PSTQE, InvDN, WRCAN, Stripformer, Uformer 순으로 많았고, 480×270 해상도 영상의 실험과 비교했을 때, 프레임 대비 Stripformer와 Uformer가 필요로 하는 메모리 사용량이 2배 이상 증가하였다. 추론 시간의 경우 Stripformer가 모든 조건에서 가장 짧은 시간이 소요되었고, 그 다음으로 InvDN과 PSTQE의 추론 시간이 짧았다. 또한, 각 조건에 대해 네트워크에 필요한 파라미터 수는 동일하였으며, PSTQE이 가장 적은 파라미터 수를 필요로 하였으며, 가장많은 파라미터 수를 이용하는 WRCAN 대비 PSTQE가 약 1.38%의 파라미터 수만을 필요로 하였다.

표 3은 해상 영상에 대한 초해상화 기술들의 정량적 지표를 정리한 표이다. 480×270의 해상도를 가진 입력 프레임을 가로, 세로 방향 4배 크기의 해상도로 높이는 경우, PSNR은 LESRCNN이 37.1 (dB)로 가장 성능을 보였다. 또한, SSIM은 SwinIR이 0.91로 가장 높고 이외 기술은 모두 0.89를 기록하였다. 추론 시간은 LESRCNN이 0.004 (초/프레임)으로 가장 빠른 성능을 보였고, 다음으로는 iSeeBetter이 0.009 (초/프레임)의 성능을 보였다. 두 모델을 제외한 다른 기술은 모두 0.01 (초/프레임) 이상의 시간이 소요되었다. 메모리 사용량의 경우 FENet이 3.7 (GB)으로 가장 적은 메모리를 사용하였다. 또한, FENet, LESRCNN, OverNet 순으로 네트워크 파라미터 수가 가장 적었고, SwinIR과 iSeeBetter는 상대적으로 많은 네트워크 파라미터 수가 필요한 것을 확인하였다. 960×540의 해상도를 가진 입력 프레임을 가로, 세로 방향 2배 크기의 해상도로 높이는 경우, 타깃 비트레이트에 따라 약간의 성능 차이를 보였지만, 각 모델들의 경향은 유사한 것을 확인하였다. PSNR 및 SSIM 모두 SwinIR이 가장 높은 수치를 보였지만 추론 시간은 가장 오래 소요되었다. 메모리 사용량은 LESRCNN, FENet, OverNet, SwinIR, iSeeBetter 순으로, 네트워크 파라미터 수는 LESRCNN, FENet, OverNet, SwinIR, iSeeBetter 순으로 적은 것을 확인하였다. 종합적으로 비교해보았을 때, LESRCNN이 우수한 품질 향상을 기록함과 동시에 낮은 네트워크 복잡도를 갖는 것을 확인하였다.

표 4는 해상 영상에 대한 프레임 보간 기술들의 정량적 지표를 정리한 표이다. PSNR 지표로는 ABME가 41 (dB)를 기록하여 가장 높은 복원 정확도를 보여주었다. SSIM은 M2M_PWC가 0.96으로 가장 높았고, IFRNet과 ABME가 0.94, XVFI가 0.91, RIFE가 0.83을 기록하였다. 또한, 추론 시간은 RIFE가 0.018 (초/프레임), M2M_PWC가 0.023 (초/프레임), IFRNet이 0.105 (초/프레임), XVFI가 0.382 (초/프레임), ABME가 1.438 (초/프레임)으로 측정되었다. 메모리 사용량은 M2M_PWC가 3.0 (GB)로 가장 적게 사용되었고 XVFI가 19.4 (GB)의 메모리를 사용하여 메모리 사용량이 가장 많았으며, 네트워크 파라미터 수는 ABME, RIFE, IFRNet, XVFI, M2M_PWC 순으로 적은 수치를 보였다. 종합적으로 비교해보았을 때, M2M_PWC가 파라미터 수를 제외한 모든 수치에서 우수한 성능을 보였다.

그림 2-4는 3.1절에서 비교한 각 영상 기술에 대한 모델들에 대해, 주관적 화질 비교를 수행한 그림이다. 표 1 및 표 2를 보면, 각 모델들에 대해 PSNR 및 SSIM이 유사한 결과를 얻었고 이에 따라 주관적인 화질도 거의 모든 기술이 유사한 것을 확인할 수 있다. 하지만, 표 3을 보면 프레임 보간 기술들을 비교했을 때, PSNR 관점에서 가장 좋은 성능을 보이는 ABME와 가장 낮은 성능을 보이는 RIFE의PSNR 차이가 10 (dB)이상 나지만, 주관적 화질은 거의 유사한 것을 확인할 수 있다. 이는 RIFE의 경우, 생성한 프레임의 구조적인 특성은 원본 영상과 유사하지만, 일부 프레임에서 플리커링 (Flickering) 현상이 발생하여 낮은 PSNR을 갖는 것으로 분석된다.

Fig. 2. 
Perceptual Assessment on denoising result of each model about maritime videos of 200kbps: (a) input frame, (b) cropped input frame, (c) WRCAN, (d) PSTQE, (e) InvDN, (f) Stripformer, (g) Uformer, (h) cropped original frame

Fig. 3. 
Super-resolution result of each model about maritime videos of 200kbps: (a) input frame, (b) cropped input frame, SwinIR, (d) LESRCNN, (e) iSeeBetter, (f) OverNet, (g) FENet, (h) cropped original frame

Fig. 4. 
Frame interpolation result of each model about maritime videos of 200kbps: (a) overlapped two input frames, (b) cropped input frames, (c) RIFE, (d) M2M_PWC, (e) XVFI, (f) IFRNet, (g) ABME, (h) cropped original frame

본 절에서는 열화 제거, 초해상화, 프레임 보간 기술들에 대해 앞서 실험한 기술 별 다섯 가지 모델들의 실험 결과를 토대로 시스템이 요구하는 제한 사항에서 얼마나 높은 실시간성을 갖출 수 있는지를 평가하기 위해 실시간 환경과 고품질 환경을 정의하고, 환경 별 적합한 모델을 선정하기 위한 평가를 수행하였다. 실시간 환경의 경우, 15 fps의 1분 길이 영상이 입력되었을 때, 열화 제거 기술, 초해상화 기술, 프레임 보간 기술을 모두 수행하여 30 fps의 고해상도 영상이 1분 이내에 출력되어야 한다고 가정하였다. 이에 따라 실시간 모드의 경우 각 기술이 15 fps 이상으로 동작해야 하며, 이를 프레임당 처리속도로 환산한 경우 0.067초 이내로 처리를 수행해야 한다. 고품질 환경의 경우, 15 fps의 1분 길이 영상이 입력되었을 때, 열화 제거 기술, 초해상화 기술, 프레임 보간 기술을 수행하여 30 fps의 고해상도 영상이 12분 이내에 출력되어야 한다고 가정하였다. 이에 따라 각 기술은 1.25 fps 이상의 속도로 동작 시 해당 요구사항을 만족할 수 있으며 이를 만족하는 프레임 당 처리속도는 0.8초 이내를 만족해야 한다.

표 5는 세 가지 영상 개선 기술들 중 실시간 모드에 적합한 기술들을 선정하여 나타낸 표이다. 성능적인 면에서 다른 기술 대비 영상 품질이 떨어지지 않으면서 추론 시간이 상대적으로 빠르고 메모리 사용량 및 파라미터 수를 적게 요구하는 기술들을 선별하였다. 종합적인 처리 소요 시간이 최대 0.067초 내로 처리해야 하므로, 열화 제거 기술들 중 최대 0.04초의 처리속도를 내는 Stripformer가 실시간 모드에 적합하다. Stripformer는 객관적 성능 측면에서도 SSIM 0.91 이상의 성능을 내며, 주관적 화질 측면에서 육안으로 비행기나 배와 같은 타깃을 탐지하기에 문제가 없음을 확인하였다. 추론 시간 면에서 실시간 동작 조건을 만족하는 초해상화 네트워크는 LESRCNN, iSeeBetter이다. 둘 중, LESRCNN의 경우 파라미터의 수가 iSeeBetter 네트워크 대비 15배 이상 작으며 메모리 사용량이 1/3 수준으로 또 다른 영상 개선 네트워크와 동시에 GPU 메모리에 적재하여 사용할 경우 자원 효율성이 있어 실시간 모드로 LESRCNN이 적합하다. 프레임 보간 기술에서는 M2M_PWC 모델 또는 IFRNet 모델의 추론 시간이 각각 프레임 한 장 단위 평균 0.024초와 0.105초가 소요되어 대용량 영상을 처리하는데 적합하며, 사용하는 파라미터 수도 적어 모델 적재에 요구되는 메모리 사용이 적었고, latency 관점에서 볼 때 짧은 시간 안에 출력이 가능하기 때문에 M2M_PWC와 IFRNet을 실시간 모드를 위한 프레임 보간 기술에 대한 적합성이 우수하다고 평가하여 선정하였다.

표 6은 세 가지 영상 개선 기술들 중 고품질 모드에 적합한 기술들을 선정하여 나타낸 표이다. 객관적 성능 지표인 PSNR과 SSIM 수치가 모두 높고 주관적 화질도 우수했던 기술들 중에서 추론 시간과 메모리 사용량, 파라미터 수를 전반적으로 고려하여 고품질 모드에 적합한 기술로 선정하였다. 12분 이내에 1분 길이의 영상을 처리하기 위해서 프레임 한 장을 처리하는데 초해상화와 프레임 보간에 소요되는 시간을 고려하여 0.8초보다 빠르게 처리해야 하며, 해당 기준을 만족하는 열화 제거 모델은 PSTQE, InvDN, Stripformer이다. Stripformer의 경우 PSTQE와 InvDN 대비 SSIM은 비슷한 수준이나, PSNR의 경우 InvDN 대비 세 가지 입력 모두 1 (dB)의 차이가 나고 PSTQE와 비교해도 떨어지는 성능을 나타낸다. PSTQE와 InvDN차이는 객관적인 측면에서는 InvDN이 PSTQE 대비 0.1 (dB)가 높을 뿐만 아니라 SSIM 역시 0.1 높게 나타나는 것을 확인하였다. 이를 바탕으로 고품질 모드에 적합한 모델로 InvDN을 선정하였다. 또한, 고품질 모드의 제약 조건을 만족하는 초해상화 네트워크는 LESRCNN, iSeeBetter, OverNet, FENet이다. 이에 따라, 고품질 모드 초해상화 기술로 FENet이 적합하다. 프레임 보간 기술에 대해, SSIM의 수치는 M2M_PWC 모델이 0.97로 가장 높았으며, 그 다음으로 IFRNET, ABME 순으로 높은 결과를 보였고, PSNR 수치는 ABME, M2M_PWC, IFRNET 순으로 높은 것을 앞선 결과에서 확인하였다. IFRNet은 SSIM 수치가 높았지만, PSNR, 추론 시간, 메모리 사용량, 파라미터 수에서 상대적으로 낮은 성능을 보였으며, ABME는 PSNR과 SSIM 수치 모두 높았지만, 추론 시간이 길었다. 따라서, 객관적인 수치와 주관적인 화질 평가를 기반으로 M2M_PWC 모델을 고품질 모드를 위한 프레임 보간 기술로 선정하였다.