병리 영상 핵분할 성능 향상을 위한 생성적 적대 신경망과 데이터 증강 기법의 효과 분석

1. GAN 기반 데이터 증강 방식

우선, Lizard^[3] 데이터셋을 이용하여 SCGAN^[2] 모델로 병리 세포의 mask(그림 이진화 마스크, 세포의 위치 및 모양 표기)를 상응한 병리 세포 이미지로 전환한다. SCGAN^[2] 모델의 장점은 세포 이미지의 의미 정보를 이해하고 시뮬레이션할 수 있는 것으로, 생성된 이미지는 시각적으로 실제 이미지와 구분하기 어렵다. 해당 절차는 모델 훈련에 대량의 풍부하고 다양한 이미지 데이터를 제공하여 모델이 세포의 특징 학습을 더욱 잘할 수 있도록 도움을 준다.

다음 본 연구에서는 생성된 병리 세포 이미지에 대해 회전, 비틀림 등을 비롯한 데이터 강화 처리 작업을 진행하여 실제 적용 시 나타날 수 있는 다양한 변화 및 상황을 시뮬레이션한다. 이와 같은 데이터 증강 기술은 모델의 일반화 학습 능력 향상 뿐만 아니라, 훈련 데이터의 다양성을 확장시키고, 모델 훈련을 위한 더욱 풍부한 환경을 만들어준다. 이러한 작업은 설비 차이, 조명 조건의 변화, 촬영 각도의 차이 등을 비롯한 실제 현실 세계에서 나타날 수 있는 상황과 변화를 시뮬레이션한 것으로, 모델을 실제 적용할 때의 강건성과 일반화 학습 능력을 향상시킨다. 이러한 방식을 통해 훈련 데이터집의 규모와 다양성을 한층 더 확대하고, 모델이 세포 이미지 속에서 미세한 변화를 식별하고 적응하는 능력을 향상시킨다. 이는 병리 세포의 식별 및 분할의 정확성 향상에 매우 중요하다.

본 연구에서는 lizard 병리 이미지 데이터셋^[3]을 사용하였다. 이번 실험에서는 NVIDIA GEFORCE RTX 2080 Ti 그래픽 카드 2장을 사용하여 훈련하였다.

Fig. 1.

Experiment Architecture

본 연구는 세포 간의 중첩, 세포가 다양한 단계에서의 형태적 변화, 세포가 서로 다른 염색 조건 속에서의 외관적 차이 등 의학 이미지 시뮬레이션에서 흔히 볼 수 있는 특수 상황에 주의를 기울였다. 이러한 상황은 실제 병리 이미지 분석에서 흔히 보이는 상황으로, 모델의 식별 및 분할 학습에 있어 매우 어려운 문제를 야기한다. 데이터 강화 과정에서 이와 같은 복잡한 요소 추가하여 시뮬레이션 할 경우, 본 연구의 모델은 복잡한 상황을 더욱 잘 적응하고 처리하여 실제 적용 시의 성능 및 정확성을 향상시킬 수 있다. 전반적인 데이터 준비 과정에서 본 연구는 자동화 이미지 품질 평가 및 선택 메커니즘, 기계 학습을 기반으로 한 자동 표기 기술 등 다양한 고급 기술을 통해 데이터 품질과 처리 효율성을 보장하였다. 해당 기술을 적용한 것은 훈련 데이터집의 품질 뿐만 아니라, 데이터 준비 단계의 효율성도 향상시켜 모델 훈련에 드는 시간 및 자원을 절약하였다. 종합적인 전략을 통해 본 연구는 훈련 데이터 양이 부족하고 다양성이 부족한 문제를 성공적으로 해결하고, 모델이 복잡한 병리 세포 이미지를 식별하고 분할하는 능력을 향상시켰다. 이는 딥러닝 기술을 사용하여 효율적이고 정확하게 병리 이미지를 분석할 수 있다는 새로운 가능성을 제시하고, 병리 진단의 효율성과 정확성에 중요한 의의가 있다.

Fig. 2.

Image generated by SCGAN using mask

2. 영상처리 기반 데이터 증강 방식

이미지 데이터 증강은 원본 이미지에 후속의 변환을 적용하여 인위적으로 훈련데이터집의 다양성을 증가시키는 기술이다. 이러한 변환에는 회전, 뒤집기, 축소 및 확대, 절단, 색채 조정(밝기, 대비도, 채도 조정), 잡음 추가 등이 포함된다. 세포 분할 모델 훈련에서 데이터 증강은 데이터 양을 증가시킬 뿐만 아니라, 모델이 이미지 변화 상황에서 적응하는 능력을 향상시키고, 따라서 모델의 일반화 및 강건성을 증강시킨다. 생물 의학 이미지 분석, 특히 세포 분할 분야에서 데이터 강화 기술은 중요한 역할을 하고 있다. 세포 분할의 주요 목적은 이미지 속에서 단일 세포를 정확하게 식별하고 격리하는 것이며, 이는 세포의 생물학 행위 및 질병의 진단과 치료를 이해하는데 중요한 의의가 있다. 이미지 형성 조건의 다양성, 세포 형태의 변이성, 이미지 품질의 불일치성 등으로 인해 원본 이미지 데이터집 훈련으로 획득한 모델은 높은 정확도와 일반화 효과를 달성하기 어렵다. 이때 이미지 데이터 증강은 데이터 품질과 수량을 향상하는 기술로 사용되어 모델의 성능을 향상시킬 수 있다. 세포 이미지는 서로 다른 이미징 조건, 서로 다른 유형의 세포, 세포 간의 상호작용 등을 비롯한 고유적인 특성이 있으며, 이러한 요소는 세포 분할 모델이 고도의 유연성과 적응성을 보유하는 것을 요구한다. 데이터 증강을 통해 이러한 조건에서의 이미지 변화를 시뮬레이션 할 수 있으며 학습된 모델을 비학습 데이터에 실제 적용할 때 세포 분할을 더욱 정확하게 수행할 수 있도록 한다.

회전 및 뒤집기는 가장 일반적인 데이터 증강 방법으로, 이러한 작업을 통해 모델은 세포가 서로 다른 방향에서의 표현 형태를 학습하여 모델의 회전 불변성을 증강시킨다. 축소와 절단은 모델이 다양한 크기와 비율의 세포에 적응할 수 있도록 하며, 특히 절단은 모델이 강제적으로 이미지의 국부적 특정에 초점을 맞추도록 하는데 이는 대규모의 세포 이미지를 처리할 때 매우 중요하다. 색채 조정은 이미지의 밝기, 대비, 채도 등을 변경하여 모델이 빛의 변화와 색채차이에 대한 적응 능력을 증가시킨다.

세포 분할 모델의 훈련 과정에서 이미지 데이터 증강 전략을 합리적으로 설계하고 적용하는 것은 모델 성능을 향상시키는데 매우 중요하다. 데이터 증강을 통해 데이터집을 효과적으로 확장시키고, 모델의 일반화 학습 능력을 증가시키며, 실제 적용 시 더욱 높은 정확도와 강건성을 달성할 수 있다. 데이터 증강 전략의 선택은 구체적인 적용 환경 및 목표에 따라 디테일한 조정이 필요하며, 그 이유는 증강 후의 데이터가 불필요한 변화 도입으로 인한 모델의 학습 효율성에 영향을 주지 않고, 모델의 성능을 효과적으로 향상해야 하기 때문이다.

Fig. 3.

Sample image of affine transformation, noise injection, color augmentation transformationAT: Affine Transformation NI: Noise Injection CA: Color Augmentation AUG: Augmented Image GT: Ground Truth

3. 세포핵 분할 모델

HoverNet^[4]는 세포 분할 모델의 일종으로 의학 이미지 분석에서의 세포 분할과 유형 식별 임무에 사용되기 위해 전문적으로 설계된 것이다. 해당 모델은 ResNet^[1] 블록이 포함되어 있는 컨볼루션 신경망(CNN) 아키텍처를 이용하여 세포 구조와 형태를 정확하게 해석하고 복잡하게 중첩된 세포 이미지를 정확하게 분할하는 것을 가능하게 하였다. HoverNet^[4]의 핵심 특징은 세포의 분할과 분류 임무를 동시에 처리할 수 있다는 것이다. 데이터 강화 처리를 거친 이미지는 HoverNet^[4] 세포 분할 모델 훈련에 사용된다. HoverNet^[4]는 첨단 세포 분할 네트워크로 Horizontal map & Vertical map을 적용하였기 때문에 이러한 설계는 복잡하게 중첩된 세포 이미지를 처리하는데 사용되며, 단일 세포를 정확하게 식별하고 분할할 수 있다. 본 실험에서 SCGAN^[2]으로 생성한 뒤 데이터 강화 처리를 거친 이미지를 훈련 데이터로 하여 HoverNet^[4] 모델이 병리 세포 분할에서의 성능을 현저히 향상시켰다.

실험 및 훈련 과정에서 HoverNet^[4]의 성능은 뚜렷하게 향상되고 이는 SCGAN^[2]이 생성한 데이터 증강 이미지등을 학습에 추가적으로 사용한 효과로 분석된다. SCGAN^[2] 모델을 통해 고도의 다양성과 복잡성의 합성 세포 이미지를 생성하고 해당 이미지는 훈련 데이터집에서 중요한 역할을 한다. 데이터 증강 처리를 거친 이미지를 훈련 데이터로 사용할 경우, HoverNet^[4]은 더욱 복잡하고 변화가 많은 환경 속에서 학습하여 실제 병리 세포 분할 임무에서의 성능을 향상시킬 수 있다. HoverNet^[4]은 설계 시 모델의 범용성과 적응성을 고려하였다.

실험 결과에 따르면 제한적인 실제 이미지 데이터로 훈련하는 것보다 본 연구의 방법이 모델의 세포 분열 정확도 및 일반화 학습 능력을 현저히 향상시켰다. 본 논문의 실험에서는 종류별 데이터 강화 기술은 모델 성능의 향상에 대한 자세한 분석을 수행하였고 서로 다른 데이터 강화 전략이 세포 분열 정확도를 향상하는 것에 대한 기여도를 보였다.

4. 실험 세부 사항

우선 기본 실험으로 본 연구에서는 100% 정답(ground truth) 데이터 이미지를 사용하여 모델에 대한 성능 테스트를 진행하고 기준 성능 지표를 확립하였다. 다음은 데이터량이 제한적인 조건에서의 모델 성능을 시뮬레이션하기 위해 실제 데이터집에서 임의로 50%의 데이터를 선택하여 테스트를 진행하였다. 해당 실험의 목적은 데이터량의 감소가 모델 성능에 대한 영향을 파악하고 다음의 데이터 증강 실험에 기반을 마련하기 위함이었다.

Table 1.

Segmentation performance test experiments on the lizard datasets.(real: real data, fake: generated data)

나아가 본 연구에서는 50%의 실제(ground truth) 데이터와 50%의 생성 데이터를 포함한 혼합 데이터 실험을 설계하였다. 해당 설계는 실제 적용 장면에서 직면할 수 있는 데이터 부족 및 품질 불균일 상황을 시뮬레이션하기 위해서이다. 해당 실험에서 본 연구는 순수한 데이터 조합의 변화가 모델 성능에 대한 영향을 정확하게 검토하기 위해 데이터 증강 기술을 활용하지 않았다. 혼합 데이터가 모델 성능에 일정한 긍정적인 영향이 있음을 확인한 뒤, 본 연구에서는 데이터 증강 기술의 효과에 대한 분석을 진행하였다. 우선 이미지의 확대 및 축소, 평행 이동, 회전 및 절단 등을 포함한 작업, 즉 아핀 변환을 단독으로 적용하고 이와 같은 기하학적 변환을 통해 이미지 데이터의 다양성을 증가하였다. 다음 잡음만 주입하는 데이터 증강 실험도 진행하였다. 마지막으로 본 연구에서는 아핀 변환과 잡음 주입, 두 가지 데이터 증강 기술을 결합하고 모델에 대한 훈련 및 테스트를 진행하였다.

본 연구에서는 Dice 계수 평가 기준을 사용하였다. 이는 Dice 유사도 계수(Dice Coefficient)로도 알려져 있으며, 의료 영상 분석 분야에서 널리 사용되는 성능 평가 지표이다. 특히 영상 분할 작업에서 중요한 역할을 한다. 이 지표는 두 샘플의 유사도를 측정하는데 사용되며, 구체적으로는 수동으로 표시된 진정한 분할과 알고리즘에 의해 생성된 예측 분할 사이의 유사도를 비교하는데 주로 사용된다.

이 계수의 값은 0에서 1 사이이며, 0은 중첩이 전혀 없음을 의미하고 1은 완전한 중첩을 의미한다.

실험 결과 실제 데이터만 사용했을 때의 성능은 평범하다. 데이터 증강 없이 50% 실제 데이터, 50% 생성 데이터를 사용하는 경우와 전부 실제 데이터를 사용하는 경우의 성능이 동일하다. 50% 실제 데이터와 50% 가짜 데이터를 사용할 때, noise+color 데이터 증강이나 affine 데이터 증강을 추가하면 성능이 조금 향상되었다. 그리고 noise+color+affine 데이터 증강을 모두 사용했을 때 성능이 가장 높다.