Journal Archive

이 방법의 목표는 문맥, gradient gap이 존재하는 전경, 배경 영역의 정보를 효과적으로 전이하는 것이다. 기존 ground-truth bounding box 기반으로 생성한 전경은 객체가 실제로 존재하지 않는 픽셀을 가지고, 객체가 존재하는 픽셀이더라도 일부는 예측에 큰 영향을 미치지 않는다. 따라서, 정답 레이블 기반 영역 분리는 픽셀 단위의 정보를 처리할 수 없기 때문에 차선책이 될 수 있다. 따라서 교사 예측 값에 대한 gradient를 반영할 수 있는 픽셀 단위의 전경을 제안한다. 분류와 회귀에 대한 중요도를 모두 고려하기 위해 분류 점수와 회귀 점수의 곱으로 표현된 신뢰 점수를 사용한다. 이 신뢰 기반 전경 마스크는 다음과 같은 과정을 따라 생성된다.

여기서 P^t는 교사 예측의 분류 점수 맵, B^t는 ground-truth bounding box와 교사 예측 간의 Intersection Over Union(IOU) 점수이다. i, j는 각각 수평 및 수직 방향에 해당하는 인덱스를 나타내고, α는 결합 확률의 균형 매개변수이다. 그런 다음, 마스크 M과 Feature Pyramid Network(FPN)의 출력 특징 맵 간의 Hadamard 곱을 통해 교사와 학생의 전경 특징 맵을 얻는다. 그 후, 다음과 같이 마스크 기반 영역의 특징을 교환한다:

F^t와 F^S는 각각 교사와 학생의 FPN 출력 특징 맵을 나타낸다. F^ts는 교사의 전경과 학생 배경 특징의 원소 별 합이며, F^st는 교사의 배경과 학생 전경 특징의 원소 별 합이다. 두 수정된 특징 맵은 그림 1(b)와 같이 표현된다. 편의를 위해 수식에서 FPN 레벨은 생략하였다.

F^t와 F^S는 서로 다른 깊이를 갖는 네트워크로부터 비롯되었기 때문에 서로 다른 특징 임베딩 공간에 속한다. 따라서 특징의 일부분이 교환된 F^ts와 F^st의 픽셀 값들의 불연속성을 완화하기 위해 간단한 컨볼루션 모듈을 추가한다. 이 모듈은 서로 다른 백본으로부터 비롯된 특징들이 혼합될 수 있도록 할 뿐만 아니라 교사와 학생 모두의 지식을 학습함으로써 용량 차이를 최소화하는 역할을 한다^[7]. 여기서 컨볼루션 모듈 W는 다음과 같다.

여기서 F는 입력 특징 맵이다. W를 통과한 F^ts는 학생의 배경이 교사의 전경을 힌트로 하여 교사의 배경을 학습할 수 있도록 하고, W를 통과한 F^st는 학생의 전경이 교사의 배경 정보를 힌트로 하여 교사의 전경을 예측할 수 있게 한다. 컨볼루션 모듈을 통과한 두 특징 맵에 대해 공간 별 및 채널 별 양방향 KL divergence 손실을 사용한다. 제안된 손실의 수식은 아래와 같다.

이때, τ₁과 τ₂는 각각 채널 방향, 공간 방향의 KL divergence 손실을 위한 temperature이다. C, H, W는 특징 맵의 채널, 높이, 너비에 해당하는 인덱스를 나타낸다. 간단한 컨볼루션 모듈은 작은 수용 필드를 가지므로 교환된 특징들이 충분히 혼합되지 않는다. 따라서 모든 영역의 혼합을 위해 소프트맥스 기반의 KL divergence를 사용한다. 게다가 F^ts와 F^st 사이의 양방향 KL divergence 손실에 의해 문맥 정보의 일관성을 규제한다. 이를 통해 컨볼루션 모듈은 교사의 문맥 정보를 학생에게 효과적으로 넘겨주도록 학습되며, 전체 손실은 수식 (8)과 같이 표현된다.

여기서 α, β는 전경, 배경 영역에 대한 손실의 균형 변수이다. 위 과정을 통해 학생의 전경은 교사의 배경 정보를 바탕으로 교사의 전경을 학습하게 되고, 학생의 배경은 교사의 전경 정보를 바탕으로 교사의 배경을 학습하게 된다. 또한, 특징 문맥 브리징 모듈을 통해 교사의 전경-학생의 배경 사이의 관계와 교사의 배경-학생의 전경 사이의 관계를 일치시킴으로써 교사의 문맥 정보를 간접적으로 전달할 수 있게 한다.

제안하는 방법을 검증하기 위해 일반적인 물체 탐지 작업에서 자주 사용되는 COCO2017 데이터셋에서 정량적 실험을 수행한다. 학습에서는 train2017 set을 사용하고, 검증을 위해 val2017 set을 사용한다. 모든 실험은 위 세팅을 사용하여 수행되며 GPU 당 3개의 샘플에 대해 2개의 NVIDIA RTX A5000에서 학습된다. 그리고 우리의 방법은 Pytorch 기반의 MMDetection 툴킷으로 구현하였으며, 툴킷의 기본 데이터 증강 기법을 사용하였다^[3]. 교사와 학생의 실험 설정으로는, 3x 및 2x 스케줄에 대한 멀티 스케일 학습으로 훈련된 두 교사에 대한 실험 프로토콜을 채택한다. 학생의 학습 전략은 1x 스케줄로, 12 epoch에 대해 단일 싱글 스케일 학습을 수행한다. 모든 실험에서 SGD 옵티마이저를 사용하였으며, 초기 학습률(Learning Rate)은 3.75E-3이다. 우리는 또한 8epoch와 11epoch에 0.1 비율의 step decay 학습 정책을 사용한다.

마스킹 전략 : 본 항에서는 마스킹 방법을 통한 문맥 정보 전달의 효과를 검증하기 위해 여러 마스크에 대한 실험 결과를 설명한다. 표 1에서 No mask 방법은 마스킹 없이 교사와 학생의 특징 맵를 입력하여 양방향 학습이 이루어지는 것을 말한다. BG random 방법은 ground-truth bounding box를 제외한 배경 영역에서 0.5의 비율로 랜덤 픽셀 마스킹을 수행하고, All random 방법은 피처 맵의 모든 영역에서 0.5의 비율로 마스킹이 수행된다. GT-Bbox 방법은 ground-truth bounding box를 기반으로 생성된 마스크를 이용하며, Confidence 방법은 제안하는 신뢰 점수 기반 마스킹 방법을 의미한다. No mask 대비 BG random과 All random 방법이 각각 0.2% mAP와 0.3% mAP 성능 향상을 보이는데, 이를 통해 마스크 기반 특징 교환 프레임워크가 문맥 정보가 효과적으로 전달하여 성능 향상을 이룬 것을 확인할 수 있다. 앞서 설명한 랜덤 기반 방법에 비해 전경 기반 방법(GT-Bbox, Confidence)은 0.3% mAP 향상을 보였고, 전경과 배경 사이의 gap을 고려하여 문맥 정보를 효과적으로 전달하는 것을 간접적으로 확인할 수 있다. [18]에서 문맥 정보를 잘 고려한다면 작은 객체의 성능 향상을 이룰 수 있다고 주장하는 바와 같이, GT-Bbox 방법보다 0.4% APS 높은 성능을 갖는 신뢰 기반 마스킹 방법이 더 효과적임을 알 수 있다.

다른 지식 증류 방법들과 비교 : 제안한 방법이 1단계 물체 검출기에 미치는 영향을 확인하기 위해, 우리는 COCO val2017 set에서 anchor-free 방법인 FCOS와 anchor-based 방법 ATSS를 여러 가지 최첨단 지식 증류 방법과 비교한다^[13,19]. 표 2에서 보이는 것과 같이, 제안하는 방법은 3x 스케줄로 학습된 교사를 사용한 실험에서 APS와 APM가 다른 방법들을 능가했고, 2x 설정에서는 최신 방법들과 비슷한 결과를 얻었다. 특히, APS는 교사의 성능과 동일한 수치를 보여주며 최신 방법들과 대등한 결과를 보여준다. 이는 분류 시 객체의 중심에 대한 위치 정보를 포함하는 중심 기반 방식 FCOS를 사용하기 때문에 정확도가 높아졌음을 시사한다. 표 3의 결과에 따르면 anchor-based 검출기는 학생보다 4.4% mAP 우수한 성능을 보였고, 기존 방법들의 성능을 모두 능가한다. 또한, AP75는 객체의 크기에 상관없이 우수한 성능을 갖는다. 이것은 높은 IOU 임계 값을 갖을 때 모델의 경계 상자 예측 성능이 높다는 의미로, 보다 정교한 경계 상자를 생성한다는 것을 의미한다.

따라서 위의 결과들은 문맥 정보가 효과적으로 전달됨에 따라 정교한 예측 값을 갖는 것을 보여준다. 주목할 만한 점으로, 제안하는 방법은 학습할 때 약간의 파라미터가 추가되지만, 실제 추론 시에는 추가된 파라미터들이 사용되지 않으므로 기본 검출기와 동일한 추론 시간과 더 나은 정확도를 갖는다.