Journal Archive

본 논문은 BasicVSR^[1] 동영상 초해상화 모델을 개선하기 위해 필터링 모듈을 추가한 연구에 대해 다룬다. 동영상 초해상화 딥러닝 모델로는 컨볼루션 신경망 기반 모델^[1][2], 트랜스포머 기반 모델^[3][4]과 적대적 신경망 기반 모델^[5][6]이 있다. 앞선 모델들은 모두 시간적 차원을 고려하며, 현재 프레임과 인접한 프레임을 참조하여 현재 프레임의 초해상화를 수행한다. 그러나 이러한 방식은 빠르게 움직이는 객체나 장면 전환과 같은 상황에서 참조된 특징들이 의도한 목표와 다를 수 있다는 문제가 존재한다. 이는 인접한 프레임으로부터 얻어낼 수 있는 정보의 양을 제한하고, 학습에 악영향을 끼치는 정보가 될 가능성이 있다.

BasicVSR은 현재프레임과 인접한 프레임을 딥러닝 모델^[7]에 입력하여 flow를 얻고, 이를 정제된 특징 맵에 warping하여 특징을 정렬한다. 정렬된 특징 맵은 현재 프레임과 함께 잔차 블록에 입력되어 정제 과정을 거치고, pixel shuffle 방식으로 업스케일링 된다. BasicVSR이 초해상화를 수행하는 수식은 아래와 같다.

xi,xi±1은 각각 현재 프레임과 인접한 프레임을 의미한다. sif,b,h¯if,b,hif,b는각각 flow, 정렬된 특징 맵, 정제된 특징 맵을 의미한다. U는 업스케일링 모듈을 의미한다.

이때 장면 전환이 발생하는 경우, 측정된 flow는 정보가 존재하지 않거나, 정렬된 특징 맵에 악영향을 끼칠 여지가 있다. 이후 특징 맵이 정제되었을 때, 일부 특징 맵들은 학습에 악영향을 주는 특징 맵이 되어 모델의 학습이 적절히 수행되지 못할 가능성이 있다.

이를 해결하기 위해 기존 모델에 SEBlock^[8]을 추가하여 기존 모델을 개선하고자 한다. SEBlock을 통해 학습에 악영향을 끼치는 특징 맵에 낮은 가중치를 부여한다면, 해당 특징 맵이 결과에 미치는 영향을 최소화하고, 학습에 유리한 특징 맵을 강조할 수 있다. 그림 1.a는 SEBlock의 구조이며, squeeze 연산은 특징 맵을 벡터로 만든다. excitation 연산은 벡터에 가중치를 적용하고, 이를 특징 맵과 곱하여 특징 맵의 각 채널에 가중치를 부여한다.

Fig. 1. 
(a) is Structure of SEBlock, (b) is the BasicVSR with SEBlock(ours)

SEBlock은 학습에 유리한 특징과 시너지 효과가 좋은 특징들에 높은 가중치를 부여하도록 학습되고, 정제된 특징 맵을 필터링하며, 그림 1.b와 같은 구조가 된다. SEBlock은 위의 수식(2) 대신에 수식(3)을 수행한다.

SE는 SEBlock을 의미한다. hi,wf,b는 각 특징 맵의 가중치 값을 의미한다.

일반적으로 비디오 초해상화 모델은 장면 전환을 고려하지 않지만, 해당 실험에서는 필터링 효과를 검증하기 위해 장면 전환이 존재하는 데이터 세트를 사용했다. 이때 자연의 동영상인 REDS^[9], Vimeo-90K^[10]에 비해 애니메이션 동영상은 에지가 많이 존재하고, 자막은 에지로 이루어져 있어 약간의 손상이 큰 화질 저하로 이어질 가능성이 있다. 따라서 차이점을 에지를 통해 두드러지게 파악할 수 있으므로 데이터 세트로 애니메이션 동영상인 AVC-Train^[11]과 AVC-Test를 선택했다. 배치 사이즈는 4이고, 총 9개의 프레임을 입력했다. 다른 세팅은 기존 모델과 동일하다.

모델의 정성적 성능을 평가하기 위해 기존 모델과 제안 모델의 초해상화 결과를 구하였고, 그 결과는 그림 2와 같다. 그림 2.a에서 제안 모델이 기존 모델에 비해 글자가 명확한데, 이는 제안 모델이 인접한 프레임의 배경에 해당하는 특징 맵을 필터링하기 때문에 글자가 덜 뭉개짐을 알 수 있다. 그림 2.b에서 제안 모델이 기존 모델보다 글자의 형태를 더 잘 유지하고, 노이즈가 덜한 모습을 볼 수 있다. 이는 필터링 모듈이 일반적인 상황에서도 학습에 유리한 특징에 높은 가중치를 줄 여지가 있음을 알 수 있다.

Fig. 2. 
Video Super-Resolution results of existing and proposed models when scene change occur

그림 3은 그림 2.a에 필터링을 적용하기 전과 후의 특징 맵 차이이다. 빨간색 점은 특징 맵이 낮은 가중치를 받았음을 의미한다. 그림 3에서 n번째 프레임의 특징 맵 차이가 diff_n일 때, diff₇₃이 diff₇₂에 비해 크거나 작은 경우가 다른 프레임에 비해 많은 것을 확인할 수 있다. 이를 통해 장면 전환이 발생했을 때, SEBlock이 특징 맵을 필터링하는 것을 알 수 있다. mean(diff_n-1) = α, mean(diff_n) = β일 때, diff_n이 diff_n-1+ 2*|α-β|보다 큰 부분은 초록색 점, 작은 부분은 빨간색 점으로 표시했다. 표 1은 그림 2.a에서 PSNR, SSIM을 측정한 결과이다. 표 2는 AVC-Test에서 PNSR, SSIM, LPIPS 그리고 VMAF를 측정한 수치이다. 제안 모델은 기존 모델에 비해 PNSR, SSIM, LPIPS 그리고 VMAF가 각각 0.0378(0.11%)dB, 0.0002(0.02%), 0.000383(0.63%), 0.160407(0.20%)만큼 향상되었다.

Fig. 3. 
The difference between the feature map before and after applying SEBlock to Fig 2.a. The closer to black, the smaller feature map difference. Differences in feature maps for frames 71, 72, 73, and 74 from top left

본 연구에서는 모델이 인접한 프레임을 참조하여 학습하는 중에 특징 맵을 필터링하여 학습에 도움이 될 수 있도록, 필터링 모듈을 기존 모델에 추가했다.

필터링의 유무에 따른 성능 차이를 효과적으로 검증하기 위해 2D 애니메이션 데이터를 사용했다. 기존 모델 대비 제안 모델에서 PSNR, SSIM, LPIPS 그리고 VMAF 결과가 각각 0.0378(0.11%)dB, 0.0002(0.02%), 0.000383(0.63%), 0.160407(0.20%)만큼 향상되었고, 이를 통해 특징 맵의 필터링이 모델의 학습에 도움을 준다는 것을 알 수 있었다.