드론 장착 마이크로폰에 의한 광대역 음향 획득 기술

Ⅰ. 서 론

드론은 소형의 비행체로서 군사, 경찰, 소방, 방송, 드론 쇼, 완구, 방제, 배송, 유인 드론 등 날로 그 활용도가 넓어지고 있어 장래가 기대되는 기술 분야이다. 용도에 따라 손바닥만 한 소형 드론에서 버스만 한 크기의 대형 드론까지 그 크기가 천차만별이며, 그 형태 또한 헬기 형태, 비행기 형태로 다양한데 다중 프로펠러 형태의 드론이 가장 일반적이다.

드론에는 카메라가 기본적으로 탑재되어 있어, 방송용 영상을 획득하는 분야에 널리 활용되고 있는데, 관광지의 비경을 소개하거나, 현장 소개, 야외 방송 프로그램 촬영 등 다양한 분야에서 드론 영상을 접할 수 있다.

그러나, 드론에서 영상은 촬영하고 있지만, 드론으로 녹음한 음향은 쉽게 접할 수 없는데, 이는 드론의 프로펠러 소음 및 비행할 때 발생하는 바람 소리 등으로 인해 실제로 녹음하고자 하는 대상의 소리가 이들 소음에 묻혀 들리지 않기 때문이다. 드론에서 음향을 획득하는 것은 불가능하다는 판단으로 카메라가 장착된 일반 드론에 어떠한 녹음 장치도 포함되어 있지 않은 것이 현실이다.

대개 드론 영상을 재생할 때는 배경음악을 삽입하여 음향을 대신하고 있으며, 간혹 드론 원격 조종 장치에 있는 마이크를 통해 조종사의 음성 및 주변 음향을 영상과 함께 서비스하는 것이 전부다. 물론 드론 사용자들은 드론으로 음향을 획득하기 위하여 다양한 시도를 해 보았는데, 드론에 마이크를 장착하여 소음 자체가 주된 소리를 녹음하거나 드론으로부터 길게 아래로 늘어뜨린 마이크를 사용하여 조금이라도 소음을 줄이는 방안을 모색해 보기도 했다.

국내에서도 ‘인공지능(AI) 그랜드 챌린지’의 일환으로 드론을 활용한 재난 구조를 목적으로 하는 구조 음성 신호 및 위치 파악을 위한 기술 경연을 통해, 다양한 솔루션들이 소개되었지만, 실재 서비스에 활용된 사례는 찾기 어려운 상황이다^[1].

기술적으로는 마이크 어레이를 사용한 초지향성 마이크로폰을 사용하는 방안과 능동소음제어 기술을 사용하는 방안이 주로 사용되고 있으며, 최근에는 심층학습망 기반 음원 분리 기술도 도입되어 활용되기 시작했다. 현재 드론에 마이크 어레이를 장착하여 획득된 음향으로 제공하는 기능은 음원의 위치 파악을 위한 기능이 주이며, 음원 자체를 획득하는 기능은 부차적인 기능이라 할 수 있다. 마이크 어레이에 사용되는 마이크 소자의 개수는 최소 6개에서 16개이며, 드론에 장착하는 방법으로는 원형 어레이, 선형 어레이, T형 어레이 등 다양하며, 마이크 어레이를 장착하는 위치도, 위쪽, 아래쪽, 측면 등 다양한 방법을 시도하고 있다. 이렇게 다양한 방법들이 활용된다는 것은 딱히 적절한 솔루션이 없다는 의미로 해석할 수도 있다^[2~7].

한편, 뉴질랜드의 드론 기업 Dotterel에서는 초지향성 마이크로폰과 지향성 스피커를 장착한 드론을 활용하여 조난 구조에 활용하고 있으며, 약 10m의 거리에 있는 조난자의 음성 신호를 획득할 수 있는 기술을 확보하고 프로모션을 진행하고 있다^[8].

본 고에서는 방송 서비스를 목적으로 드론에서 촬영하는 영상과 함께 영상 방향에서 발생되는 광대역 음향을 실시간으로 획득하는 솔루션이 어느 정도까지 가능한지 확인하기 위하여 프로토타입 형태로 고안된 솔루션을 소개하며, 향후 해결되어야 할 과제에 대하여 고찰하고자 한다.

Ⅱ. 요구사항 및 접근 방향

2. 접근 방향

상기의 요구사항을 최대한 만족하기 위하여 마이크로폰은 가벼운 스테레오 초지향성 마이크로폰을 활용하는 것으로 하였다. Sennheiser사의 MKE 440, Comica사의 Traxshot, Zoom사의 H3-VR 마이크로폰을 검토하여 가장 가벼우며, 활용도가 높은 Comica사의 Traxshot을 사용하기로 하였다. Traxshot은 충전용 리튬 배터리가 내장되어 있어, 배터리를 추가하여야 하는 다른 모델에 비해 가벼우면서도, 두 개의 마이크로폰의 각도를 조절할 수 있고, 진동흡수가 가능하여 드론에 장착하기에 가장 적합하다고 판단하였다.

드론의 음향 획득 기술에 있어 위 요구사항들을 만족하면서 드론 소음의 최소화를 위해 다음의 세 가지 접근 방향을 고려하였다.

• • 물리적 구조 설계
• • 지향성 마이크로폰
• • 소음제거 신호처리

우선 물리적 구조 설계에 있어서는 프로펠러 소음원과 1m 정도의 거리 이격을 위하여 막대 구조물을 사용하여 마이크로폰을 설치하는 것을 고려하였고, 바람의 영향을 최소화하기 위한 윈드스크린 부착, 후방 소음차폐를 위한 차음/흡음 구조물을 설치하는 것을 고려하였다. 지향성 마이크로폰은 위에서 선택된 Traxshot 마이크로폰을 사용하여 설치하였으며, 마이크로폰으로 입력된 음향신호는 카메라에 내장된 외부입력 단자를 통해 단말까지 전송하도록 하였다. 마이크로폰의 각도는 30도, 90도, 180도로 조절할 수 있도록 되어 있는데, 지향성과 스테레오 음향 획득을 고려하여 30도로 조절하였다. 이러한 드론 음향 구조물의 개념도는 그림 1과 같다. 마이크로폰의 지향성과 차폐 구조물에 의해 프로펠러 소음 방향이 가려질 수 있도록 구성하는 것이 기본 개념이다.

Fig. 1.

Concept of Drone Audio Acquisition Assembly

단말에 전송된 스테레오 음향신호는 드론의 소음을 포함한 신호이며, 단말에서 심층학습망 기반 실시간 소음제거/신호분리 처리를 통하여 소음이 제거된 음향신호를 얻도록 하였다. 심층학습망은 기존의 기술 중 적절한 성능의 실시간 구현에 용이한 기술을 도입하였으며, 광대역 신호 및 스테레오 채널 신호처리가 가능하도록 확장 구현 및 실제 녹음한 드론 소음을 통하여 학습하여 적용하였다.

Ⅲ. 사전 분석 및 시사점

드론 음향 획득 솔루션을 실제 구현하기에 앞서 마이크로폰의 지향특성 및 드론 소음의 특성을 분석해 보았다. 그림 2에 이를 위한 목표음 및 드론 소음의 녹음 설정을 나타내고 있다. 드론에 장착된 마이크로폰이 드론 소음과 0.5m 떨어져 있는 상황을 가정하였으며, 목표음은 야외 콘서트(Coldplay) 실황 음원을 사용하였으며, 거리는 1.7m와 3.5m로 설정하였다. 재생된 음원의 레벨은 목표음의 경우 72~76dB SPL이며, 이는 실제 콘서트 현장의 음량 레벨을 약 100dB로 가정하면 약 10%의 음량이며, 실제 거리는 실험 설정의 거리보다 약 10배의 거리라고 할 수 있다. 즉, 그림 2 및 표 1의 드론과 목표음의 거리의 10배를 고려하면, 목표음의 거리는 짧은 거리는 17m이며, 긴 거리는 35m로 간주할 수 있다. 또한, 실험 설정에서 드론 소음은 녹음된 대형 드론의 소음을 사용하여 스피커로 재생하였으며 출력레벨은 86~90dB SPL로 설정하였다. 위에서 선정된 Traxshot 마이크로폰을 사용하여 드론 소음에 대하여 그림 2와 같이 거리 및 방향별로 녹음해 본 결과, 표 1의 다섯 번째와 여섯 번째 행에 나타낸 것과 같이 지향성 방향과 반대 방향의 녹음 레벨 차이가 최대 12 dB가 됨을 확인할 수 있었다. 드론 음 신호의 경우 어느 정도 고조파 특성을 보여 심층신경망 적용에 의한 소음 제거가 어느 정도 의미가 있을 것으로 확인하였다.

Fig. 2.

Experimental setup for recording drone noise and target sound sources

Table 1.

Comparison of sound level for recording setup

실제 드론 비행 중 소음을 획득하기 위하여 소형 드론에 마이크로폰과 녹음기를 장착한 후, 그림 3과 같이 비행하면서 지상에 설치된 스피커의 목표 음원을 함께 녹음해 보았다.

Fig. 3.

Drone noise and target sound recording during actual drone flight

소형 드론을 활용한 실험이었기 때문에 추가 구조물 없이 마이크로폰을 드론의 바로 아래 다리에 부착할 수밖에 없었는데, 드론의 바로 아래에는 프로펠러의 바람이 세서 1m의 거리에 있는 목표 음원을 거의 구별할 수 없을 정도로 소음 레벨이 컸다. 추가로 끈을 이용하여 마이크로폰을 드론으로부터 아래로 약 1m 떨어뜨려 녹음하여 확인한 결과 어느 정도 목표 음원을 구별할 수 있었다. 1m가량 이격하였을 경우, 드론의 소음은 약 12dB 정도 적어지는 것을 확인하였고, 1m 막대를 이용한 마이크로폰 이격 설치에 대한 방향 설정이 적절하였음을 확인할 수 있었다. 또한 드론의 아래 방향의 경우, 프로펠러의 소용돌이 바람이 주로 발생하는 영역으로 소음의 영향을 더 많이 받는 것을 알 수 있었으며, 이러한 이유로 드론의 아래보다는 측면 방향으로 떨어져 있는 것이 유리하다고 판단하였다. 대부분 사례에서도 측면 방향 마이크로폰 설치가 많았으며, 아래의 경우 특별한 차폐 구조물을 부가하여야 함을 알 수 있었다.

Ⅳ. 구현 및 검증

검증 시스템은 360VR 영상과 함께 초저지연 네트워크를 통해 원격관광 서비스를 시나리오로 구현되었는데, 전체 구조는 그림 4와 같다. 드론에 장착된 마이크로폰의 신호는 아날로그 신호로 360VR 카메라의 외부 오디오 입력 단자에 접속되어 카메라 자체 인코딩 (음향 : MPEG-2 AAC) 기능을 이용하여 별도 장착한 RF 전송 시스템을 통해 스트리밍 PC에 전송되었다. 이렇게 전송된 AV 비트스트림은 초저지연 네트웍을 통해 원격으로 전송될 수 있으며, 전송된 AV 비트스트림은 렌더링 PC에 의해 디코딩된 후 심층신경망 필터를 통하여 소음이 제거된 음향신호를 출력하도록 하였다.

Fig. 4.

Verification system for remote tourism using drone

스테레오 지향성 마이크로폰은 가벼운 막대를 이용하여 드론에 장착하였는데, 드론의 페이로드 및 균형에 영향을 미치지 않아야 하므로 적절한 길이로 장착하였을 때, 실제 드론의 프로펠러 경계와는 약 30cm의 거리가 되었다. 또한 비행 실험에서는 차폐 필터의 공기 저항이 비행을 방해할 수 있으므로 장착하지 않고 실험하였다. 마이크로폰 전용 윈드스크린을 사용하였으며, 두 마이크로폰의 각도는 30도로 하였는데, 마이크로폰이 장착된 드론의 실제 사진은 그림 5와 같다.

Fig. 5.

Drone with directional stereo microphone

드론에서 녹음한 스테레오 음향 신호는 그림 4와 같은 전송 경로를 통하여 대전-부산 간 왕복 거리를 초저지연으로 전송되었으며, 디코딩된 후 심층신경망에 의해 소음을 제거하는 필터링을 수행하였다. 심층신경망은 실시간 재생을 위해 그림 6과 같이 구성된 DTLN (Dual-signal Transformation LSTM (Long Shrot Term Memory) Network) 기술을 활용하였다^[9]. 기존에 구현된 코드는 음성대역과 모노 채널의 처리를 위한 것이므로, 48kHz 표본화주파수와 스테레오 채널 음향 신호를 처리할 수 있도록 확장하였고, 실시간 처리를 위한 경량화된 모듈을 추가로 사용하였다. DTLN은 4개의 LSTM 레이어 각각에 128개의 단위를 가지고 있으며, 프레임 크기는 1,536 샘플(32ms)이고, 이동 단위는 384 샘플(8ms)이며, 윈도우는 Hanning window를 사용하였다. 또한, STFT의 FFT 크기는 2048 샘플이며, 1D-Conv의 필터 길이는 참고문헌과 동일하게 사용하였다.

Fig. 6.

Basic structure of DTLN network[9]

구현된 심층신경망의 학습을 위해 구현된 검증 시스템을 다양한 조건으로 비행 운전하면서 녹음을 하였으며, 학습된 네트워크의 드론 소음 제거 성능을 확인하기 위해 비행 중 별도로 음성을 함께 녹음하였다. 이렇게 확보된 드론 소음은 공개된 다양한 음원 DB의 신호와 믹싱하여 SNR (Signal to Noise Ratio) -15 ~ 5dB 범위의 합성된 신호로 총 30시간 분량의 학습 DB를 생성하여 네트워크의 학습에 사용하였다.

이렇게 구현된 드론 음향 획득 시스템의 성능은 지향성 마이크 성능, 물리적 구조물 성능, 소음제거 네트워크 성능으로 구분하여 검증하였다. 이러한 드론 음향 획득 시스템의 성능은 실시간 녹음된 신호로 구분하여 측정하는 것이 불가능하므로 실험실에서 각 성능 측정 환경을 설정하여 측정하였다. 기본적인 실험실 측정 설정은 그림 7과 같다. 지향성 마이크로폰의 지향성 성능 측정은 순방향 및 역방향으로 녹음된 드론 소음의 스펙트럼 및 레벨 차이로 측정하였으며, 차폐 필터의 유무에 의한 스펙트럼 및 레벨 차이도 함께 측정하였다. 여기서 실험실은 약 12m * 12m의 잔향이 많지 않은 청취실험실이며, 드론 소음은 M-300 드론의 실제 비행 중 녹음된 소리를 사용하였으며, 목표음은 K-POP 가요 ‘이무진의 신호등’을 사용하였다.

Fig. 7.

Performance measurement setup for directional microphone and physical assembly

이후 드론 소음과 음원이 함께 녹음된 믹싱 음원에 대해, 드론 소음 제거 네트워크를 적용하기 전과 후의 음원 구간에서 드론 소음만 존재하는 구간의 스펙트럼 및 레벨 차이를 비교하는 것으로 소음 제거 네트워크의 성능을 측정하였다. 여기서, 소음 신호의 분석에는 Audacity 응용 프로그램을 활용하였으며, 레벨 측정은 Audacity의 선택된 구간 RMS 레벨 측정 기능을 활용하였다. 이렇게 측정된 지향성 마이크 성능, 차폐 필터 성능이 포함된 물리적 구조물 성능 및 드론 소음 제거 네트워크의 성능은 그림 8 및 그림 9에 결과 파형 및 주파수 특성으로 비교하여 나타내었다. 이때 이격 거리 효과는 실재 이격 거리에 따라서 달라질 수 있으며, 드론의 프로펠러가 다수이며, 이격 거리에 비해 음원의 위치를 특정할 수 없는 영역에 분포하므로 무시하는 것으로 하였다. 실제 드론 음향 설계 시 이격 거리 및 차폐 구조물에 대해서는 드론의 형태에 따라 다양한 방법을 적용할 수 있을 것으로 예상된다.

Fig. 8.

Drone noise reduction effect by directional microphone and physical structure

Fig. 9.

Drone noise reduction effect by noise cancellation network

상기와 같이 드론 소음이 있는 상황에서의 현장 음원 획득에 대한 가능성을 알아보기 위하여 마이크로폰 소자에 의한 접근, 물리적 구조 설계의 접근, 심층신경망 기반 소음 제거 네트워크 기반 접근으로 구분하여 검증하여 보았다. 실제 청감적으로는 거의 들리지 않던 음원의 소리가 뚜렷이 들리는 성능을 확인할 수 있었지만, 드론 소음이 여전히 남아 있고, 드론 소음 제거 네트워크에 의해 음원의 특정 성분이 함께 제거되는 영향으로 왜곡이 발생하는 것을 확인할 수 있었다. 주파수 대역에 따라 다르지만, 평균적인 드론 소음 레벨 감소는 대략 지향성 마이크로폰에 의해 9dB, 음향 차폐 필터에 의해 5dB, 심층신경망 소음 제거 네트워크에 의해 10dB로 전체적으로 약 24dB (약 1/16)의 소음 감소 효과를 확인할 수 있었다. 음향 차폐 필터의 효과는 특히 고주파 영역의 드론 소음을 감소시키는 효과를 나타냈다.

Ⅴ. 결 론

드론 영상 촬영에 있어 현장 음향을 획득하는 것은 더욱 체감적인 미디어 제공을 위해 매우 중요한 요소라고 할 수 있다. 본 고를 통하여 불가능의 영역으로 여겨졌던 드론을 통한 광대역 스테레오 음향 획득 솔루션의 가능성을 검증하였고, 드론 제작 업체에서 적극적인 음향 설계와 기술 도입이 선행된다면 충분히 해결될 수 있을 것으로 생각한다.

실제 드론의 규격 및 형상에 따라 적극적인 음향 설계와 심층신경망 설계를 통해 드론 음향 획득 성능은 비약적으로 개선할 수 있을 것이며, 최근 관심과 진화의 중심에 있는 생성형 AI를 적용한 음원 합성 방안을 통해, 장래 드론은 영상과 함께 광대역 현장 음향을 제공하는 것이 충분히 가능할 것으로 기대된다.

Acknowledgments

본 연구는 한국전자통신연구원 내부연구개발사업[21YH2200, 종단간 초저지연 네트워크 기반 원격 관광 서비스 실증 연구개발] 및 한국전자통신연구원 연구운영비지원 사업[23ZH1200, 초실감 입체공간 미디어・콘텐츠 원천기술 연구]의 일환으로 수행되었음.

References

• J. Go, J. Jang, “Research on voice direction detection to locate rescue seekers using drones in disaster situations,” KICS, Information & Communications Magazine Vol. 37, No. 1, pp. 72–78, Jan. 2020. https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE09300202
• M. Clayton, L. Wang, A. McPherson, A. Cavallaro, “An Embedded Multichannel Sound Acquisition System for Drone Audition,” IEEE Sensors Journal Vol. 23, Issue 12, pp. 13377–13386, 15 June 2023. [https://doi.org/10.1109/JSEN.2023.3273330]
• Y. Hioka, M. Kingan, G. Schmid, R. McKay, and K. A. Stol, “Design of an unmanned aerial vehicle mounted system for quiet audio recording,” Appl. Acoust., vol. 155, pp. 423-427, Apr. 2019. [https://doi.org/10.1016/j.apacoust.2019.06.001]
• L. Wang and A. Cavallaro, “Acoustic sensing from a multi-rotor drone,” IEEE Sensors J., vol. 18, no. 11, pp. 4570-4582, Nov. 2018. [https://doi.org/10.1109/JSEN.2018.2825879]
• M. Strauss, P. Mordel, V. Miguet, and A. Deleforge, “DREGON: dataset and methods for UAV-embedded sound source localization,” in Proc. IEEE/RSJ Int. Conf. Intell. Robot. Syst., pp. 5735-5742, Madrid, Spain, 2018. [https://doi.org/10.1109/IROS.2018.8593581]
• K. Hoshiba, K. Washizaki, M. Wakabayashi, T. Ishiki, M. Kumon, Y. Bando, D. Gabriel, K. Nakadai, and H.G. Okuno, “Design of UAV-Embedded microphone array system for sound source localization in outdoor environments,” Sensors, vol. 17, no. 11, pp. 1-16, Nov. 2017. [https://doi.org/10.3390/s17112535]
• M. Wakabayashi, H. G. Okuno, and M. Kumon, “Drone audition listening from the sky estimates multiple sound source positions by integrating sound source localization and data association,” Advanced Robotics, pp. 1-12, 2020. [https://doi.org/10.1080/01691864.2020.1757506]
• Dotterel Technologies. https://www.dotterel.com/, (accessed Mar. 1, 2023)
• Nils L. Westhausen1 and Bernd T. Meyer, “Dual-Signal Transformation LSTM Network for Real-Time Noise Suppression,” Interspeech 2020, pp. 2477-2481, 15 May 2020. [https://doi.org/10.21437/interspeech.2020-2631]