Dent 탐지 자동화를 위한 객체 탐지 모델과 데이터 증강 기반 항공기 Dent 탐지 성능 분석

Ⅰ. 서 론

항공기의 구조적 안정성을 확보하기 위해서는 정기적이고 체계적인 유지보수 검사가 필수적이다^[1]. 항공기가 운항을 마치고 복귀하면 항공기 외피에 발생한 다양한 손상 여부를 점검하기 위해 일반적으로 육안 검사가 수행된다^[2]. 이 과정에서 찌그러짐(Dent), 긁힘(Scratches), 균열(Cracks) 등의 구조적 결함을 식별하고, 손상 유형과 정도에 따라 적절한 수리 조치를 취해야 한다^[3]. 그러나 기존의 항공기 외피 검사 방식은 대부분 검사자의 육안 검사에 의존하고 있으며, 이는 검사자의 숙련도와 주관적 판단에 따라 결과가 달라질 수 있다는 한계를 가진다^[2][3]. 또한 대형 항공기 전체를 검사하는 경우, 상당한 시간과 인력이 소요되어 유지보수 효율성이 저하될 수 있다. 이러한 문제로 인하여 최근에는 무인 항공기 및 영상 기반 자동 검사 시스템을 활용하여 항공기 외피에 발생한 손상 탐지를 자동화하려는 연구가 활발히 진행되고 있다^[4].

기존 연구에서는 복잡한 배경에서 소형 항공기 외피 결함의 오탐 및 미탐 문제를 완화하기 위해 YOLOv8n 기반의 개선된 탐지 모델을 제안하였으며, 주의 메커니즘과 다중 스케일 특징 융합을 통해 탐지 성능을 향상시키고자 하였다^[5]. 또한, 변형 합성곱과 전역 주의 메커니즘을 결합한 YOLO 기반 모델을 통해 다양한 형상의 항공기 외피 결함과 소형 결함에 대한 표현력을 향상시키려는 시도도 이루어졌다^[6]. 그러나 이러한 기존 연구들은 주로 모델 구조 개선이나 응용 중심의 탐지 및 크기 추정에 초점을 두고 있으며, 데이터셋 규모, 증강 기법, 라벨링 일관성이 탐지 성능에 미치는 영향에 대한 체계적인 분석은 상대적으로 제한적이었다. 특히 항공기 외피의 찌그러짐은 크기가 매우 작고 재질 특성 및 조명 조건에 따라 시각적 특징이 크게 달라지며, 주변 배경과 명확한 경계가 존재하지 않아, 객체 탐지 모델을 안정적으로 학습하기 어렵다는 한계가 있다. 또한, 실제 항공기 영상 데이터는 보안상의 이유로 공개가 제한되는 경우가 많으므로 Dent 전용 공개 데이터셋의 수가 매우 제한적이며, 기존에 공개된 데이터셋 역시 라벨 품질이 불균일한 경우가 많다^[7].

본 논문에서는 이러한 한계를 극복하기 위해 항공기 Dent 탐지를 대상으로 모델의 성능을 정성적, 정량적으로 비교 분석을 수행하였다. 먼저 기존에 널리 사용되는 객체 탐지 모델들을 공개된 Dent 데이터셋을 기반으로 비교 평가하며, 모델별 성능을 체계적으로 분석하였다. 특히 소형 Dent 탐지 성능을 향상시키기 위해 소형 객체 탐지에 효과적인 데이터 증강 기법을 적용하고, 이를 통한 성능 향상 가능성을 검증하였다. 또한 기존 공개 데이터셋의 라벨 불균일 문제를 해결하기 위하여, 여러 공개 데이터셋을 취합하고, 재라벨링을 수행함으로써 새로운 Dent 데이터셋을 구축하였다. 마지막으로 재구성된 데이터셋을 기반으로 모델과 증강 기법을 재평가하여, 모델의 성능 일관성을 실험적으로 검증하였다.

Ⅱ. 기존 공개 데이터셋 기반 실험

1. 객체 탐지 모델 성능 비교

항공기 외피에 발생하는 Dent 탐지 문제에서 기존 객체 탐지 모델들의 성능을 비교하기 위해, 본 연구에서는 동일한 공개 데이터셋과 동일한 학습 조건에서 여러 모델을 평가하였다. 이를 통해 모델 구조에 따른 탐지 성능 차이를 정량적으로 분석하고, 이후 실험에서 활용할 기준 모델을 선정하였다. 일반적인 객체 탐지 연구에서 널리 사용되며, 소형 객체 탐지 성능 향상을 목표로 설계된 모델을 기준으로 YOLOv8^[8], YOLOv12^[9], MASFNet^[10], YOLO-MS^[11]의 총 4개의 객체 탐지 모델을 선정하였다. Roboflow에서 오픈소스로 공개된 Innovation Hangar^[7] 데이터셋을 학습, 검증, 테스트 데이터셋으로 8:1:1 비율로 분할하여 사용하였다. 모델 간 성능 비교는 테스트 데이터셋을 기준으로 Precision, Recall, mAP의 지표를 사용하여 수행하였다. 실험 결과, 표 1에서 확인할 수 있듯이 YOLO-MS 모델의 Precision이 0.882로 가장 우수한 성능을 보였다. 이는 YOLO-MS 모델의 MS-Block(Multi-Scale Block)과 HKS(Heterogeneous Kernel Size Selection) Protocol을 통해 다양한 스케일의 특징을 효과적으로 학습할 수 있었기 때문으로 분석된다.

Table 1.

Performance comparison of object detection models on the Innovation Hangar dataset

2. 데이터 증강 기법에 따른 모델 성능 비교

가장 우수한 성능을 보인 YOLO-MS 모델을 기준으로 다양한 데이터 증강 기법이 Dent 탐지 성능에 미치는 영향을 분석하였다. 항공기 외피의 찌그러짐은 크기가 작고 형태가 불명확하므로, 학습 데이터의 다양성을 확장하는 증강 기법은 모델의 일반화 성능 향상에 중요한 역할을 할 수 있다. 본 연구에서는 다음의 세 가지 학습 전략을 비교하였다. (1) 증강을 적용하지 않은 원본 데이터 학습, (2) 전통적인 증강 기법(Random Rotate, Flip. Scale jittering, Color jittering)을 적용하여 데이터 수를 3배 증강한 경우, (3) 전통 증강 기법에 추가로 소형 객체 탐지에 효과적인 Copy-Paste^[12] 증강 기법을 적용한 경우로 총 3가지 방안에 대해 성능을 비교하였다. 공정한 평가를 위해, 학습 데이터셋에만 증강 기법을 적용하여 사용하였고 검증 및 테스트 데이터셋은 원본 데이터를 사용하였다. 표 2는 증강 기법에 따른 소형 Dent 탐지 성능 비교 결과를 나타낸다. 실험 결과, 데이터 증강 기법을 적용한 경우 전반적으로 탐지 성능이 향상되는 경향을 보였으며, 특히 Copy-Paste 증강 기법을 적용한 경우 소형 찌그러짐에 대한 성능이 향상함을 mAP_s50를 통해 확인할 수 있다. 그림 1을 통한 정성적 비교에서도 Copy-Paste 증강 기법을 적용한 YOLO-MS 모델의 성능이 가장 우수함을 확인하였다.

Table 2.

Performance of the YOLO-MS model with data augmentation on the Innovation Hangar dataset

Fig. 1.

Visual comparison of detection results on the Innovation Hangar dataset: (a) Ground Truth (b) YOLO-MS (c) YOLO-MS(Copy-Paste)

Ⅲ. 제안하는 Dent 데이터셋

앞선 실험에서 YOLO-MS 모델이 높은 탐지 성능을 달성하였으나, 일부 샘플에서는 여전히 오탐 및 미탐이 지속적으로 발생하는 문제가 확인되었다. 정성적 분석 결과, 이러한 문제의 주요 원인은 기존 공개 데이터셋의 라벨 품질 편차에 기인하는 것으로 확인되었다. 동일한 형태의 찌그러짐에도 불구하고 라벨 크기 및 위치가 서로 달라, 모델 학습 과정에서 혼란을 일으키는 문제가 있다. 이러한 문제는 단순히 모델 구조 개선이나 증강 기법의 적용만으로 해결하기 어려우며, 성능을 객관적으로 검증하는 데에도 한계를 가진다. 따라서 본 연구에서는 신뢰할 수 있는 성능 검증 환경을 구축하기 위해 새로운 Dent 데이터셋을 재구성하였고, 이를 통해 데이터 품질과 라벨링 일관성을 확보하였다.

제안한 Dent 데이터셋은 Roboflow에서 제공하는 항공기 외피 손상 오픈소스 데이터셋인 ICCR^[13], aircraftsurface1^[14], Dataset 2 Computer Vision^[15], damage-detection-test^[16] 데이터셋들을 기반으로 구축하였다. 표 3은 Dent 데이터셋 구축에 사용된 원천 데이터셋과 각 데이터셋의 세부 사항을 보여준다. 기존 데이터셋들은 데이터 증강이 포함된 경우가 많고, 그림 2에서 확인할 수 있듯이 라벨의 크기 및 위치가 일관되지 않거나 부정확한 사례가 존재한다. 또한, 실제 운용 환경과 거리가 먼 폐항공기 이미지가 다수 포함되어 있어, 실제 항공기 외피 검사 자동화를 위한 Dent 탐지 모델 학습에 활용하기에는 한계가 있다.

Table 3.

Details of Open-source Datasets Used for Dent Dataset Construction and the Proposed Dent Dataset

Fig. 2.

Visualization of labeling in the original dataset and the proposed Dent dataset: (a) Original Open-Source dataset (b) Proposed Dent dataset

이러한 문제를 해결하기 위하여, 본 연구에서는 위의 데이터셋을 통합한 후 Dent 객체가 포함된 이미지들을 대상으로 데이터 선별 및 재라벨링을 수행하였다. 먼저, 실제 운용 중인 항공기의 외피 손상 탐지 자동화 모델 학습에 적합한지를 기준으로 데이터를 선별하였으며, 폐항공기나 실제 점검 환경과 차이가 큰 이미지는 제외하였다. 그 다음으로, 기존 오픈소스 데이터셋에 포함된 증강 이미지를 검토하여 동일한 원본 이미지로부터 생성된 중복 샘플을 제거하였다. 다양한 증강이 적용된 이미지가 포함된 기존 데이터셋을 그대로 사용할 경우 데이터 분포 왜곡 및 특정 샘플의 과대 표현 문제가 발생할 수 있으므로, 원본성이 유지된 대표 이미지만을 선별하여 데이터 중복을 최소화하였다. 이후, 기존 라벨을 참고하여, Dent의 위치를 식별한 뒤, 모든 이미지를 수작업으로 재라벨링하였다. 라벨링 기준으로 긁힘, 균열, 부식, 도장 벗겨짐과 같은 손상은 제외한 항공기 외피 표면에 발생한 함몰 형태의 찌그러진 변형을 Dent로 정의하였다. Bounding Box는 Dent의 실제 영역을 최대한 정확하게 포함하되, 배경이 과도하게 포함되지 않도록 조정하였다. 마지막으로, 라벨링의 일관성을 확보하기 위해 재라벨링 결과를 반복적으로 검토하고 보정하였다. 유사한 크기와 형태의 Dent 객체에 대해서는 이미지 간 Bounding Box의 크기와 위치 편차가 발생하지 않도록 조정하였으며, 경계가 모호한 경우에는 시각적으로 실제 변형이 확인되는 경계를 기준으로 라벨링을 수행하였다. 이를 통해 최종적으로 Dent 객체만으로 구성된 총 761장의 전용 데이터셋을 구축하였다.

Ⅳ. 제안하는 Dent 데이터셋 기반 실험

1. 객체 탐지 모델 성능 비교

새롭게 제안한 Dent 데이터셋을 기반으로, 앞선 실험에서 사용한 객체 탐지 모델 및 설정을 동일하게 적용하여 성능을 재평가하였다. 학습, 검증, 테스트 데이터셋은 새로운 데이터셋을 8:1:1 비율로 분할하여 사용하였다. 표 4는 새로운 데이터셋에서의 모델별 성능 비교 결과를 나타낸다. 실험 결과, 재구성된 데이터셋을 사용한 경우 모든 모델에서 성능이 안정적으로 상승하였으며, YOLO-MS 모델이 Precision이 0.877로 가장 우수한 성능을 보였다.

Table 4.

Performance comparison of object detection models on the Proposed Dent dataset

2. 데이터 증강 기법 적용에 따른 성능 분석

이전 실험과 동일하게 YOLO-MS 모델에 데이터 증강 기법 비교 실험을 진행한 결과, 표 5에서 확인할 수 있듯이 Copy-Paste 증강 기법을 결합한 경우가 가장 높은 성능을 달성하며, 소형 객체 탐지 성능에서도 우수하다. 그림 3에 제시된 정성적 비교 결과를 통해서도, Copy-Paste 증강 기법을 적용한 경우가 가장 성능이 뛰어남을 확인하였다. 일부 실험 결과에서는 Precision이 증가하지만, Recall이 감소하는 Trade-off 현상을 확인하였다. 이는 모델이 신뢰도가 높은 객체에 대해서만 탐지를 수행하도록 학습하면서 상대적으로 신뢰도가 낮은 객체를 탐지하지 못하여 나타난 결과로 분석된다. 즉, 탐지 결과의 정확도는 향상되었으나 일부 객체를 놓치는 현상이 발생하여 Precision과 Recall 간의 Trade-off가 생긴 것으로 확인된다.

Table 5.

Performance of the YOLO-MS model with data augmentation on the Proposed Dent dataset

Fig. 3.

Visual comparison of detection results on the Proposed Dent dataset: (a) Ground Truth (b) YOLO-MS (c) YOLO-MS(Copy-Paste)

Ⅴ. 결 론

항공 운항의 안전성을 확보하기 위해서는 항공기 외피 손상에 대한 정확하고 체계적인 유지관리가 필수적이다. 그러나 기존의 항공기 유지보수 방식은 숙련된 전문가의 육안 검사에 의존하고 있어, 많은 인력과 시간이 소요된다는 한계가 있다. 이에 따라 항공기 외피 손상 탐지의 정확도와 효율성을 향상시키기 위해 자동화된 컴퓨터 비전 기반 탐지 기술에 관한 연구가 필요하다. 본 연구에서는 기존에 공개된 Dent 데이터셋을 기반으로 여러 객체 탐지 모델의 성능을 비교 분석하였다. 동일한 학습 조건에서 실험을 수행한 결과, YOLO-MS 모델이 Dent 탐지에서 가장 우수한 성능을 보였으며, 전통적인 증강 기법에 Copy-Paste 증강 기법을 결합하면 탐지 성능이 가장 크게 향상됨을 확인하였다. 그러나, 기존에 공개된 데이터셋은 보안상의 제약으로 데이터의 수가 제한적이고 라벨링 기준이 일관적이지 않아, 객관적인 성능 검증에 한계가 존재하였다. 이에 본 연구에서는 라벨 기준을 재정립하고 재라벨링을 수립하여 Dent 전용 데이터셋을 재구성하였다. 재구성된 데이터셋을 동일한 실험 설정에서 모델을 재평가한 결과, YOLO-MS 모델이 가장 우수한 성능을 보임을 확인하였다. 반면, 일부 실험 결과에서는 모델이 신뢰도가 높은 객체에 대해서만 탐지를 수행하도록 학습하여 Precision과 Recall 간의 Trade-off 현상이 나타난 것을 확인하였다. 즉, 탐지의 정확도는 향상되었으나 일부 객체를 놓치는 현상이 발생함에 따라, 모델 성능 평가 시 Precision과 Recall 간의 균형을 함께 고려할 필요가 있다.

본 연구는 항공기 외피에 발생하는 Dent 탐지 문제에서 모델, 데이터 증강 전략, 데이터셋 품질이 탐지 성능에 미치는 영향을 종합적으로 분석하였다. 향후 본 연구의 결과는 항공기 외피 검사 자동화 시스템 및 무인 항공기 기반 정비 지원 시스템 분야의 개발에 활용될 수 있을 것으로 기대된다.

Acknowledgments

본 연구는 국토교통부 국토교통과학기술진흥원의 지원으로 수행되었음(과제번호 RS-2023-00240992)

References

• Hrymak, V., & Codd, P., “Improving visual inspection reliability in aircraft maintenance,” In Proceedings of the 31st European Safety and Reliability Conference (ESREL), pp. 1-9, 2021. [https://doi.org/10.3850/978-981-18-2016-8_121-cd]
• Arora, R., Bhatia, V., & Sidharth, S., “Military aircraft surface defect detection using machine learning,” In Proceedings of the International Conference on Computing, Sciences and Communications (ICCSC), pp. 1-6, 2024. [https://doi.org/10.1109/ICCSC62048.2024.10830372]
• Suvittawat, N., & Ribeiro, N. A., “Aircraft surface defect inspection system using AI with UAVs,” In Proceedings of the International Conference on Research in Air Transportation (ICRAT) Doctoral Symposium, pp. 1-4, 2024. Available: https://www.researchgate.net/publication/379476938_Aircraft_Surface_Defect_Inspection_System_Using_AI_with_UAVs
• Connolly, L., Garland, J., O’Gorman, D., & Tobin, E. F., “Deep-learning-based defect detection for light aircraft with unmanned aircraft systems,” IEEE Access, 12, 83876-83886, 2024. [https://doi.org/10.1109/ACCESS.2024.3412204]
• Wang, H., Fu, L., & Wang, L., “Detection algorithm of aircraft skin defects based on improved YOLOv8n,” Signal, Image and Video Processing, 18(4), 3877-3891, 2024. [https://doi.org/10.1007/s11760-024-03049-9]
• Huang, B., Ding, Y., Liu, G., Tian, G., & Wang, S., “ASD-YOLO: An aircraft surface defects detection method using deformable convolution and attention mechanism,” Measurement, 238, 115300, 2024. [https://doi.org/10.1016/j.measurement.2024.115300]
• Innovation Hangar, “Innovation Hangar Dataset,” Roboflow Universe, 2023. Available: https://universe.roboflow.com/innovation-hangar/innovation-hangar, (accessed Mar. 10, 2026).
• Jocher, G., et al., “Ultralytics YOLOv8,” Ultralytics, 2023. [Online]. Available: https://github.com/ultralytics/ultralytics, (accessed Jan. 25, 2026).
• Tian, Y., Ye, Q., & Doermann, D., “Yolov12: Attention-centric real-time object detectors,” arXiv preprint arXiv:2502.12524, , 2025. [https://doi.org/10.48550/arXiv.2502.12524]
• Liu, Z., Fang, T., Lu, H., Zhang, W., & Lan, R., “MASFNet: Multi-scale Adaptive Sampling Fusion Network for Object Detection in Adverse Weather,” IEEE Transactions on Geoscience and Remote Sensing, 2025. [https://doi.org/10.1109/TGRS.2025.3558541]
• Chen, Y., Yuan, X., Wang, J., Wu, R., Li, X., Hou, Q., & Cheng, M. M., “YOLO-MS: Rethinking multi-scale representation learning for real-time object detection,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2025. [https://doi.org/10.1109/TPAMI.2025.3538473]
• Ghiasi, G., Cui, Y., Srinivas, A., Qian, R., Lin, T. Y., Cubuk, E. D., ... & Zoph, B., “Simple copy-paste is a strong data augmentation method for instance segmentation,” In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 2918-2928, 2021. [https://doi.org/10.1109/CVPR46437.2021.00294]
• ICCR, “ICCR Dataset,” Roboflow Universe, 2024. Available: https://universe.roboflow.com/500-ztvpl/iccr, (accessed Mar. 10, 2026).
• aircraftsurface1, “aircraftsurface1 Dataset,” Roboflow Universe, 2025. Available: https://universe.roboflow.com/yolo11aircraft/aircraftsurface1, (accessed Mar. 10, 2026).
• Dataset 2 Computer Vision Dataset, “Dataset 2 Computer Vision Dataset,” Roboflow Universe, 2023. Available: https://universe.roboflow.com/tese-s64ix/dataset-2-0tqmb, (accessed Mar. 10, 2026).
• damage-detection-test, “damage-detection-test,” Roboflow Universe, 2023. Available: https://universe.roboflow.com/damges-detection-test-v1/damage-detection-test, (accessed Mar. 10, 2026). 1