자기 조건부 확산을 이용한 수동 소나 데이터 생성의 시간-주파수 특성 향상

1. 자기회귀 기반 생성 모델

1차원(1D) 신호에 대한 생성 모델 연구는 주로 오디오 영역을 중심으로 발전해 왔다. 초기에는 WaveNet^[8]과 같은 자기회귀(autoregressive) 모델이 제안되어, 과거 샘플에 대한 조건부 확률 분포를 순차적으로 모델링하는 방식으로 파형을 생성하였다. 이러한 접근법은 높은 품질의 신호를 생성할 수 있었으나, 샘플 단위의 순차 생성 구조로 인해 계산 비용이 매우 크고 생성 속도가 느리다는 한계를 가진다.

2. GAN 기반 생성 모델

이후 생성적 적대 신경망(GAN)을 활용한 1D 생성 모델이 등장하면서 병렬 생성이 가능해졌고, WaveGAN^[9], MelGAN^[10], HiFi-GAN^[11] 등은 생성 속도와 실용성을 크게 향상시켰다. 그러나 GAN 기반 모델은 학습 불안정성과 모드 붕괴 문제를 가지며, 장기 시간 의존성을 안정적으로 모델링하는 데에는 여전히 어려움이 있다.

3. 확산 기반 생성 모델

최근에는 확산 모델(Diffusion Model)이 1D 신호 생성 분야에서 효과적인 생성 기법으로 주목받고 있다. DiffWave^[12], WaveGrad^[13] 등은 점진적인 노이즈 제거 과정을 통해 안정적인 학습과 고품질 파형 생성을 동시에 달성하였다. 이후 연구에서는 긴 시계열 데이터를 보다 안정적으로 생성하기 위해 확산 모델과 자기회귀 구조를 결합한 DiffAR^[14]와 같은 접근 방식이 제안되었다.

4. 1D 소나 데이터 생성의 한계

1D 생성 모델은 오디오 영역을 중심으로 발전해 왔으며, 주로 지각적 음질 향상이나 신호 변환에 초점을 두고 설계되었다. 그러나 소나와 같은 물리 기반 센서 신호는 전파 특성과 반사 구조에 의해 형성되는 고유한 시간-주파수 패턴을 가지며, 이러한 스펙트럼 구조의 물리적 일관성이 핵심적인 분석 요소가 된다. 기존 오디오 기반 생성 모델은 이러한 특성을 명시적으로 고려하지 않으며, 센서 도메인에 특화된 1D 신호 생성 연구는 제한적이다.

1. 확산 모델

확산 모델은 데이터에 점진적으로 가우시안 노이즈를 추가하는 확산 과정(forward process)과, 역으로 제거하는 복원 과정(reverse process)으로 구성된다. 확산 과정은 원본 신호 x₀에 시간 단계(time step) t에 따라 노이즈를 점진적으로 추가하여 노이즈가 포함된 신호인 x_t를 생성하는 과정이며, 다음과 같이 정의된다.

여기서 x_t와 x_t-1은 각각 시간 단계 t와 t-1에서의 노이즈가 포함된 신호를 의미한다. B_t는 시간 단계 t에 따른 노이즈 스케줄로, 각 단계에서 추가되는 노이즈의 크기를 조절한다. I는 단위 행렬을 의미하며, N(·)은 평균이 $$ \sqrt{1-{\beta }_t}{x}_{t-1}$$, 분산이 B_tI인 가우시안 분포를 나타낸다. 즉 식 (1)은 이전 단계의 신호 x_t-1에 가우시안 노이즈를 추가하여 다음 단계의 신호 x_t를 생성하는 과정을 의미한다.

복원 과정에서는 신경망 ϵ_θ를 통해 x_t에 포함된 노이즈를 예측하고, 이를 기반으로 원본 신호를 점진적으로 복원한다. 이를 위해 다음과 같이 diffusion loss를 최소화하도록 학습한다.

여기서 ϵ은 확산 과정에서 추가된 실제 가우시안 노이즈를 의미하며, ϵ_θ(x_t, t)는 시간 단계 t의 노이즈 신호 x_t를 입력으로 받아 신경망이 예측한 노이즈를 의미한다. θ는 신경망의 학습 가능한 파라미터이다. E_x0,ϵ,t[·]는 원본 신호 x₀, 가우시안 노이즈 ϵ, 시간 단계 t에 대해 계산한 손실의 기대값을 의미하며, 실제 학습에서는 미니 배치 내 샘플들의 평균으로 계산된다. ||·||₁은 실제 노이즈와 예측 노이즈 간의 차이를 계산하는 Mean Absolute Error(MAE)를 의미한다. 따라서 식 (2)는 모델이 확산 과정에서 추가된 노이즈를 정확히 예측하도록 학습하는 손실 함수이다.

2. 네트워크 구조

제안 모델은 1D 신호 생성을 위해 DiffWave 구조를 기반으로 설계되었으며, 이를 그림 2에 나타냈다. DiffWave는 dilated convolution을 활용한 Residual Block 구조를 통해 긴 시간 의존성을 효과적으로 모델링한다.

Fig. 2.

Proposed network architecture. B, C and D denote the batch size, the number of the channels, and the embedding dimension of Query (Q), Key (K), and Value (V), respectively.

각 Residual Block은 입력 신호와 time step을 embedding 한 뒤 함께 활용하여 feature를 점진적으로 정제하며, skip connection을 통해 안정적인 학습을 수행한다.

3. 자기 조건화 (Self-Conditioning)

자기 조건화는 이전 단계에서 추정된 신호를 현재 단계의 조건으로 활용하는 기법이다. 제안 모델에서는 이전 step에서 추정한 노이즈를 이용해 복원된 신호 $$ {\widehat{\chi }}_0$$를 모델의 입력과 함께 제공하여, 노이즈 제거 과정에서 추가적인 조건 정보를 활용하도록 한다.

그러나 학습 과정에서는 실제 이전 step의 결과를 사용할 수 없기 때문에, 현재 단계의 노이즈 신호로부터 $$ {\widehat{\chi }}_0$$를 먼저 추정한다. 이때, 해당 추정 과정은 gradient를 차단한 상태에서 수행된다. 이후, 이렇게 얻은 $$ {\widehat{\chi }}_0$$를 self-condition으로 사용하여 모델 입력에 함께 제공하고 학습을 진행한다. 이를 통해 각 단계에서 보다 풍부한 정보를 기반으로 디노이징이 이루어지며, 생성 과정에서의 정보 전달을 효과적으로 보조한다.

자기 조건화가 적용됨에 따라 모델 입력은 x_t에서 (x_t, $$ {\widehat{\chi }}_0$$)로 확장되며, 이에 따라 식 (2)는 다음과 같이 수정된다.

4. STFF (Self-conditioned Time-Frequency Fusion) 모듈

시간-주파수 특성을 효과적으로 반영하기 위해 STFF 모듈을 제안한다. 해당 모듈에서는 먼저, 자기 조건화를 통해 얻어진 신호에 대해 STFT를 적용하여 시간-주파수 표현을 생성한다. STFT 결과는 magnitude와 phase로 구성되며, 제안 모듈에서는 magnitude의 동적 범위를 줄이기 위해 log-magnitude를 사용한다. 또한 phase 값은 –π에서 π 범위로 표현되는데, 위상 경계에서 발생할 수 있는 불연속성을 완화하고, 위상 정보를 연속적인 형태로 표현하기 위해 cos(phase)와 sin(phase) 성분으로 분해하여 사용한다. 따라서 STFT 변환 후의 결과는 log-magnitude, cos(phase), sin(phase)를 결합한 3채널 형태인 (B, 3, F, T)로 구성된다. 여기서 B는 배치 크기, 3은 채널 수, F는 주파수 빈의 개수, T는 시간 프레임의 개수를 의미한다.

다음으로, 해당 시간-주파수 표현에 2D convolution을 적용하여 주파수 및 시간 축의 구조적 특성을 추출한다. 이후, 추출된 시간-주파수 특성과 1D 신호 특성을 cross-attention 구조를 통해 결합한다. 이때 1D 신호 특성은 query로, 시간-주파수 특성은 key와 value로 사용된다.

이를 통해 시간 영역의 파형 정보와 주파수 영역의 구조적 정보를 순차적으로 반영할 수 있으며, 기존 1D 기반 생성 모델에서 부족했던 주파수 특성 표현을 효과적으로 보완한다.

학습 시, STFF 모듈이 자기 조건화를 통해 보강된 시간-주파수 특성을 효과적으로 반영하도록 하기 위해, 원본 신호와 복원 신호 간의 시간-주파수 표현 차이를 최소화하는 spectral loss를 적용한다. 그림 2와 같이 STFT 및 2D convolution 연산을 S(·)으로 정의할 때, 해당 loss는 다음과 같이 표현된다.

따라서 최종 학습에 사용되는 손실 함수는 식 (5)와 같이 정의되며, 실험을 통해 λ를 100으로 설정하였다. 모델은 해당 손실 함수를 이용해 end-to-end로 학습된다.

1. 데이터셋

본 연구에서는 실제 해양 환경에서 취득한 수동 소나 데이터 256개를 사용하였다. 각 데이터는 2048Hz의 샘플링 주파수를 가지며, 약 14분 길이의 시계열 신호로 구성된다. 해당 데이터는 선박이 운항하는 실제 해양 환경에서 취득된 신호로, 해양 환경 소음과 선박 소음이 포함되어 있다.

각 신호는 min-max 정규화를 적용한 후, -1.0에서 1.0 범위로 매핑하였다. 생성 모델이 제한된 실제 수동 소나 데이터의 분포를 최대한 학습할 수 있도록, 학습 시에는 256개 데이터를 모두 사용하였다. 이때, 전체 신호 중 32초 길이에 해당하는 구간을 랜덤 크롭하여 입력으로 사용했으며, 추가적인 외부 정보는 활용하지 않았다. 또한, self-conditioning에 사용되는 신호 역시 동일 데이터로 추정된 결과를 사용하였다.

평가 시에는 시간-주파수 변환 결과의 시각적 특성을 확인하기 위해 100초 길이의 신호 512개를 생성하였다. 또한, 정량 평가를 위해 원본 데이터 각각에서 100초 길이의 구간을 2개씩 랜덤 샘플링하여 총 512개의 실제 데이터를 구성하였으며, 이를 생성 데이터와의 비교에 사용하였다. 이를 통해 제안 모델이 실제 수동 소나 신호의 통계적 특성과 시간-주파수 구조를 얼마나 유사하게 재현하는지 평가하였다.

본 연구에서 사용한 데이터는 시뮬레이션 신호가 아니라 실제 해양 환경에서 취득된 수동 소나 신호이므로, 실제 운용환경에서 나타나는 해양 배경 소음과 선박 소음의 시간적·주파수적 특성을 포함하고 있다. 따라서 제안 모델의 학습 및 평가에 실제 환경 기반의 신호 특성을 반영할 수 있다.

2. 평가 지표

생성한 1D 신호의 품질을 정량적으로 평가하기 위해 Fréchet Inception Distance(FID)^[16]를 사용하였다. FID는 생성된 데이터와 실제 데이터의 feature 분포 간 차이를 측정하는 지표로, 값이 작을수록 생성 품질이 우수함을 의미한다. 먼저 VGGish^[17]를 통해 1D 신호를 feature 공간으로 변환한 뒤, 해당 feature 분포 간의 FID를 계산하였다. 또한, 1D 신호를 시간-주파수 영역의 2D 표현인 LOFAR와 DEMON으로 변환한 후, Inception^[18] 네트워크를 활용하여 feature 공간으로 변환한 뒤 FID를 각각 측정하였다. 이를 통해 시간-주파수 영역에서 생성 품질을 평가하였다.

3. 비교 모델 및 실험 구성

Unconditional 설정에서 가변 길이 입력을 처리할 수 있는 1D 생성 모델을 대상으로 성능을 비교하였다. 비교 모델로는 DiffWave^[12]와 DiffAR^[14], 그리고 최신 오픈소스 모델인 Tiny Audio Diffusion(TAD)^[19]를 사용하였다. DiffAR는 DiffWave를 기반으로 ResBlock의 채널 구성과 dilated convolution 구조를 확장한 모델이다. 제안하는 STFF 모듈과 spectral loss(SL)의 효과를 검증하기 위해, DiffWave와 DiffAR에 이를 추가하여 비교하였다.

모든 비교 모델의 입력 데이터 길이는 32초에 해당하는 65,536개 샘플로 설정했으며, batch size는 8로 설정하였다. TAD는 공개 코드에서 제공하는 기본 구성을 사용하였다. DiffWave와 DiffAR 기반 모델은 모두 Adam optimizer를 사용하고 learning rate는 2×10^-4로 설정하였다. DiffWave 기반 모델에서는 residual layer 수 (N), residual channel 수 (C), dilation cycle length를 각각 30, 64, 10으로 설정하였다. DiffAR 기반 모델에서는 각각 36, 256, 11로 설정하였다.

STFF 모듈에서 STFT는 FFT size, window length, hop length를 각각 2048, 2048, 512로 설정하고 Hann window를 사용했으며, 이에 따른 overlap은 75%이다. STFT 결과는 1,025개의 주파수 빈과 129개의 시간 프레임으로 구성되며, log-magnitude, cos(phase), sin(phase)의 3채널 feature로 표현되어 (B, 3, F=1025, T=129) 형태를 갖는다. 2D convolution은 4개의 layer로 구성되며, kernel size는 순서대로 2×2, 3×3, 3×3, 3×3이다. 이를 통해 (B, C, F'=64, T'=32) 형태의 시간-주파수 특성이 추출된다. 이후 flatten하여 F'×T'=2,048개의 토큰으로 변환되며, 이를 기반으로 cross-attention의 key와 value를 생성한다. 1D 신호 특성은 1D convolution을 통해 query로 변환되며, 이때 토큰 수 L'은 4096으로 설정하였다. Cross-attention은 4개의 attention head를 사용했으며, query, key, value의 embedding dimension인 D는 128로 설정하였다.

4. 정량 평가 비교 분석

표 1은 각 모델에 대한 1D FID와 LOFAR 및 DEMON 기반 2D FID 결과를 나타낸다. STFF 모듈을 적용한 경우, DiffWave와 DiffAR 모두에서 1D 및 LOFAR FID가 전반적으로 감소하는 경향을 보였다. 이는 self-conditioning으로부터 얻은 신호의 시간-주파수 특성을 1D feature에 효과적으로 반영함으로써, 생성 신호의 구조적 표현이 향상되었음을 의미한다. 여기에 spectral loss를 추가한 경우, 모든지표에서 추가적인 성능 개선이 확인되었다. 특히 LOFAR에서 FID의 감소는 spectral loss가 시간-주파수 feature 관점에서 보정하도록 학습함으로써 STFF 모듈의 효과를 보완한 결과로 해석된다. DEMON에서는 FID는 모든 모델에서 낮은 값을 보이며 전반적인 성능 차이는 크지 않으나, 제안 방법 적용 시 일관된 감소 경향이 나타났다. 이는 DEMON 표현이 배경 노이즈 성분에 크게 영향을 받는 특성에도 불구하고, 제안한 방법이 이러한 통계적 특성까지 안정적으로 반영함을 시사한다. 또한 TAD 모델은 LOFAR 및 DEMON FID에서 상대적으로 높은 값을 보였으며, 이를 통해 제안 모델이 시간-주파수 구조를 보다 효과적으로 반영함을 확인할 수 있다.

Table 1.

FID comparison of generated 1D signals results

5. 정성 평가 비교 분석

그림 3은 각 모델에서 생성된 1D 신호의 waveform을 원본과 비교하여 나타낸다. TAD와 DiffWave는 전체적인 분포는 유지되지만 진폭 변동이 제한적이며, 특히 DiffWave는 진폭 범위가 축소되는 경향을 보인다. DiffAR는 상대적으로 유사한 분포를 보이나, 일부 구간에서 불균일한 변동이 나타난다. STFF 모듈을 적용한 경우, DiffWave와 DiffAR 모두에서 신호의 진폭 분포와 변동성이 보다 안정적으로 개선되는 것을 확인할 수 있다. 또한 STFF 모듈에 spectral loss를 추가한 경우, 신호의 진폭 변화가 더욱 자연스럽고 연속적으로 나타나며, DiffAR에 적용한 경우 전체적인 waveform 구조가 원본과 가장 유사하게 형성된다. 이는 표 1에서 확인된 1D FID의 지속적인 감소와 일관되며, 제안한 방법이 신호의 통계적 특성과 동적 변화를 보다 효과적으로 반영함을 시사한다.

Fig. 3.

Qualitative comparison of generated 1D signals

그림 4와 그림 5는 LOFAR 및 DEMON 변환 결과를 토널 성분의 많고 적음에 따라 Tonal-rich case와 Tonal-sparse case로 구분하여 나타낸다. 그림 4의 LOFAR 변환 결과에서 Tonal-rich case는 시간 축을 따라 지속되는 다수의 수직 토널 성분을 보인다. TAD, DiffWave, DiffAR는 이러한 토널 구조를 충분히 재현하지 못하는 반면, STFF 모듈을 적용한 경우 토널 성분이 보다 뚜렷하고 연속적으로 나타나며, spectral loss를 함께 적용했을 때 이러한 경향이 더욱 강화된다. Tonal-sparse case에서는 원본 신호에 상대적으로 적은 토널 성분과 강한 배경 노이즈가 나타난다. TAD와 DiffWave는 원본 신호보다 토널 성분이 적게 나타나고, 저주파 영역의 배경 노이즈가 두드러지는 반면, 제안 방법을 적용한 모델은 주파수에 따른 에너지 분포를 더 안정적으로 반영한다. 그림 5의 DEMON 변환 결과에서는 두 경우 모두 배경 노이즈 성분이 지배적이며, 모델 간 시각적 차이는 LOFAR 변환 결과에 비해 크지 않다. 그러나 tonal-rich case에서는 원본에 포함된 일부 토널 성분이 제안 방법을 적용한 모델에서도 부분적으로 재현되는 것을 확인할 수 있다. 종합적으로, STFF 모듈과 spectral loss를 적용한 경우 LOFAR와 DEMON 변환 결과에서 원본 신호의 시간-주파수 특성이 보다 효과적으로 반영된다.

Fig. 4.

Qualitative comparison of LOFAR transform results

Fig. 5.

Qualitative comparison of DEMON transform results

6. LOFAR/DEMON 라인 검출 비교 분석

LOFAR/DEMON 도메인에서 원본과 유사한 토널 성분이 생성되었는지 확인하기 위해 라인 검출 방법인 DeepLSD^[20]을 적용하여 결과를 비교했다. 그림 6은 원본 신호의 LOFAR/DEMON 변환 결과에 대한 라인 검출 예시이며, 표 2는 각 방법별 검출된 라인의 평균 개수와 평균 길이, 그리고 원본과의 차이를 비교한 결과를 나타낸다. 실험 결과 TAD는 LOFAR와 DEMON 모두에서 토널 성분을 충분히 생성하지 못하는 것으로 나타났다. 또한 DEMON은 LOFAR에 비해 토널 성분이 적게 나타나는 특성으로 인해 추출된 라인 수는 적었으나, 상대적으로 긴 라인이 검출되었다. DiffWave와 DiffAR 모두에서 STFF 모듈과 spectral loss를 적용한 경우 원본과의 평균 개수 및 평균 길이 차이가 감소하였으며, 이를 통해 제안 방법이 LOFAR/DEMON 도메인의 토널 구조를 보다 효과적으로 재현함을 확인하였다.

Fig. 6.

Example of line detection results for LOFAR and DEMON of the original signal

Table 2.

Comparison of line detection results for LOFAR and DEMON