Current Issue

특징 선택은 그림 1과 같이 방법론에 따라서 filter 기반 특징 선택 기법^[4-6], wrapper 기반 특징 선택 기법^[7,8], embedding 기반 특징 선택 기법^[12,20,21]과 정답 데이터 사용 유무에 따라 지도 학습 (supervised)^[9], 준지도 학습 (semi- upervised)^[10], 비지도 학습 (unsupervised)^[11]으로 나눌 수 있다.

Fig. 1. 
Category of feature selection

Autoencoder 기법의 모델^[22]은 일반적으로 인코더와 디코더, 두 모듈로 구성되어 있다. 인코더는 입력 데이터의 구조적인 정보를 담을 수 있는 저차원 벡터를 추정하고, 디코더는 이러한 저차원 벡터로부터 입력 데이터를 복원하도록 학습한다. 입력 데이터의 복원을 위한 autoencoder의 손실 함수는 다음과 같이 정의된다:

여기서 f()는 인코더, g()는 디코더, X∈Rn×d는 입력 데이터를 나타낸다. N은 입력 데이터의 개수, W1∈Rd×k은 인코더의 가중치를 나타내며, W2∈Rk×d는 디코더의 가중치를 나타내고 두 모델의 가중치 집합은 θ=W1, W2로 표시한다. .F2는 Frobenius norm을 의미한다. 입력 데이터의 복원을 위해 압축 데이터의 노드 개수를 k로 설정하고 수식 2의 손실 함수를 최소화하는 방법으로 autoencoder 모델을 학습한다. 그림 2는 autoencoder의 전반적인 구조도를 보여준다. 그림 2에서 볼 수 있듯이 d차원의 입력 데이터 X로부터 인코더를 통해 저차원 벡터 h=h1, …, hk를 추정하고, 이후 디코더에서는 저차원 벡터 h로부터 입력 데이터 X의 복원을 수행한다. 이러한 autoencoder 기반 특징 선택에서는 인코더가 입력 데이터를 압축하는 과정에서 큰 가중치가 할당된 특징이 원본 데이터의 구조적인 정보를 담고 있는 중요한 특징인 것으로 가정한다.

Fig. 2. 
Architecture of autoencoder

이러한 autoencoder를 기반으로 한 특징 선택 기법 중 가장 초기에 연구된 AEFS에서는 입력 데이터의 복원 학습뿐만 아니라 가중치의 희소성을 유도하여 특징 선택을 할 수 있도록 원본 데이터의 구조적 정보를 담은 인코더의 가중치 W⁽¹⁾에 L21-norm을 적용한다. AEFS의 손실 함수는 다음 식 (3)과 같다:

여기서 ∥.∥_2,1은 L21-norm, α는 L21-norm의 하이퍼파라미터, β는 정규화 (regularization)를 통해 가중치들의 스케일을 조정하기 위한 하이퍼파라미터다. 특징 선택을 위해 W⁽¹⁾에 적용되는 L21-norm은 다음과 같이 계산된다:

여기서 W⁽¹⁾은 인코더의 가중치, d는 입력 데이터의 특징 수, h는 압축 데이터 노드의 개수이다. j∈{1, ..., k}는 W⁽¹⁾의 열 방향 인덱스, i∈{1, ..., d}는 W⁽¹⁾의 행 방향 인덱스이다.

이렇듯 AEFS에서는 원본 데이터의 복원 학습과 함께 인코더의 가중치에 희소성을 유도하는 특징 선택 기법을 제안한다. 하지만 AEFS는 구조가 간단하여 전체 데이터 구조를 이해하지 못하거나, L21-norm에서 강제로 W⁽¹⁾값의 일부를 0으로 바꾸는 구조이기 때문에, 모델의 성숙도를 고려한 특징 선택이 불가능하고, 미분 불가능한 파라미터들이 생성되기 때문에 해석이 어려운 데이터에서는 우수한 성능을 내기 어렵다.

CAEFS는 AEFS의 L21-norm을 통한 가중치의 희소성을 유도하는 방법 대신 기존 AEFS의 인코더에 concrete random variable^[18]을 적용한 concrete selector layer를 사용하여 특징을 선택하는 기법을 제안한다. 구체적으로는 concrete selector layer 내 hidden units을 임의의 특징 선택 개수 k로 추정하는 concrete selector layer와 두 개의 선형 레이어로 이루어진 디코더로 구성되어 있다. 그림 3은 concrete autoencoder의 구조를 보여준다.

Fig. 3. 
Architecture of concrete autoencoder

CAEFS는 인코더의 가중치, 즉 W⁽¹⁾에 concrete random variable을 적용하여 특징 선택을 학습한다. Concrete random variable이란 W⁽¹⁾에 Gumbel distribution^[23]으로 정의되는 노이즈를 추가하고 스케일링을 위한 매개변수인 T를 학습 epoch에 따라 annealing 하면서 나누어 준 variable을 말한다. 이를 통해 학습되는 인코더의 가중치를 continuous relaxation of the one-hot vector 형태로 유도할 수 있다. 이러한 concrete random variable은 다음과 같이 계산된다:

여기서 αji는 i∈{1, ..., k}번째 hidden unit과 입력 데이터의 j∈{1, ..., d}번째 특징이 연결된 가중치이고, α1, ⋯, αk∈W1이다. gji는 Gumbel distribution으로부터 독립적으로 추출된 값으로 αji에 더해진다. T는 사용자가 설정한 스케일링 값이고 학습이 진행됨에 따라 점점 0에 가까워지도록 설정한다. mji는 αji에 concrete random variable을 적용하고 각 α⁽ⁱ⁾마다 소프트맥스를 취한 m⁽ⁱ⁾의 j번째 값이다. 학습 시 batch step에 따른 T의 annealing은 다음과 같이 적용된다:

여기서 E는 총 epoch 횟수, S는 한 epoch 안의 batch step 횟수를 의미한다. T_t는 현재 batch step에서의 T를 의미하고 t∈{1, ..., ES}이다. T₀는 시작 온도, T_min은 최소 온도, λ는 다음 batch step으로 넘어갈 때 이전 T에 곱해주는 값이다.

T가 높은 학습 초기에는 입력 데이터에 대한 W⁽¹⁾의 가중치들이 균등 분포 (uniform distribution)를 형성하도록 유도할 수 있다. 이후 학습이 진행됨에 따라 T가 0에 가까워지면 concrete selector layer 내 hidden units과 연결된 각각의 가중치 벡터 m⁽ⁱ⁾, {i = 1, ..., k}는 엔트로피가 최소화되는 방향으로 학습된다. 결과적으로 학습이 끝난 모델의 hidden units에는 입력 데이터의 특징 중 concrete selector layer로부터 선택된 특징들만 남게 된다.

Gumbel distribution은 학습이 진행되는 동안 concrete selector layer의 α⁽ⁱ⁾마다 Gumbel distribution으로부터 추출된 노이즈 값들을 더해줌으로써 특징 선택의 신뢰가 더 robust 할 수 있도록 만들어준다. 다시 말해 무작위성의 노이즈 요소가 추가되더라도 concrete selector layer에 의해 중요도를 가지는 특징들을 한 번 더 선별할 수 있도록 만드는 역할을 한다. 그림 4는 Gumbel distribution과 T에 따른 임의의 가중치 벡터의 변화를 보여주는 예시이다. 그림 4의 그래프 d축은 가중치의 인덱스, y축은 가중치의 크기를 나타낸다.

Fig. 4. 
Example of weight vector with concrete random variable

그림 4에서 볼 수 있듯이, T가 높을 때 임의의 벡터들은 균등 분포를 보이지만, T가 0에 가까워질수록 큰 가중치에만 집중하기 때문에 임의의 벡터는 희소적 형태를 띠게 된다. 종합하자면 concrete autoencoder를 학습하기 위한 손실 함수는 다음과 같다:

여기서 f ()는 concrete selector layer, g ()는 디코더, X∈Rn×d는 입력 데이터, N은 입력 데이터 개수를 나타낸다. W1∈Rd×k는 concrete selector layer의 가중치, W2∈Rk×d는 디코더의 가중치, 두 모델의 가중치 집합은 θ=W1, W2로 표시되어 있다. Concrete autoencoder 기반 특징 선택 기법은 위 식 (7)과 concrete random variable을 사용하기 때문에 모델의 모든 파라미터는 미분가능하여 역전파 (backpropagation)를 적용할 수 있다. 학습을 마친 모델은 테스트 시 그림 5와 같이 concrete selector layer가 m⁽ⁱ⁾의 가중치들 중 가장 큰 가중치와 연결된 특징만 가져올 수 있도록 각 m⁽ⁱ⁾의 값들은 one-hot 벡터 형식으로 치환된다. 따라서 테스트 시 i번째 hidden unit, h⁽ⁱ⁾에는 X•m⁽ⁱ⁾로 계산된 xargmaxjmji가 저장된다.

Fig. 5. 
Architecture of concrete selector layer

하지만 CAEFS는 특징 선택을 위해 채택한 방식으로부터 기인하는 문제로 그림 5와 같이 특징 선택 시 중복을 허용한다는 점이 있다. 이는 특징 선택 시 concrete selector layer에서는 각각의 m⁽ⁱ⁾에서 가장 큰 가중치와 연결된 특징을 선택하기 때문이다. 이는 k개의 특징 선택 개수를 지정하였음에도 불구하고 중복된 특징을 제거하면 선택된 특징이 k개보다 적다는 문제가 생긴다. 이를 해결하기 위해 우리는 특징 선택이 중복되지 않도록 유도하는 방법으로 covariance concrete autoencoder를 제안한다. 자세한 사항은 다음 장에서 서술된다.

기존 CAEFS^[19]는 특징 선택 시 중복을 허용하기 때문에 지정한 k개 보다 특징이 적게 선택될 수 있다는 단점이 있다. 이러한 단점을 보완하기 위해 우리는 그림 3의 CAEFS의 구조는 따르지만, concrete selector layer 내 hidden units의 특징별 covariance를 낮추어 특징 선택이 최대한 중복되지 않도록 유도하는 covariance concrete autoencoder (CoCoder)기법을 제시한다. 또한 기존의 AEFS^[17], CAEFS에서는 원본 데이터의 복원만 고려하기 때문에 concrete selector layer 내 hidden units은 저차원 벡터 공간 내에서 클래스별로 데이터가 군집화 되지 않는다. 하지만 제안하는 방법을 사용하면 hidden units의 특징별 covariance를 고려함으로써 중요한 특정 특징들이 hidden units에 집중되어 특징을 중복으로 선택할 수 있는 경우를 방지할 수 있을 뿐만 아니라, 서로 상관관계가 낮은 특징들을 선택할 수 있도록 유도하여 데이터를 저차원 벡터 공간 내에서 클래스별로 구분이 더 잘 되게끔 도와주는 군집 효과 또한 얻을 수 있다. 그림 6은 그림 3의 concrete selector layer 내 hidden units의 특징별 covariance를 계산하는 방법을 나타낸다.

Fig. 6. 
Process of calculating covariance of hidden units by feature in concrete selector layer

그림 6과 같은 방법으로 입력 데이터로부터 off diagonal covariance matrix를 만들고 행렬의 제곱합의 평균을 계산하여 학습에 반영한다. 위 방법을 적용한 CoCoder는 다음 식 (8)과 같이 학습한다:

여기서 k는 hidden units의 개수, Cov는 off diagonal covariance matrix, λ는 covariance term의 하이퍼파라미터를 의미한다.