Current Issue

VAE(Variational Autoencoder)^[4]는 입력 데이터의 주요 특징을 나타내는 정보를 추출해 잠재 벡터에 넣고, 이 잠재 벡터를 통해 입력 데이터와 유사한 데이터를 생성하는 것을 목표로 하는 모델이다. 이미지 생성에 대한 관심이 높아지며 VAE^[4]를 활용해 다양한 이미지를 생성하는 모델^[8-11]이 다수 제안되었으며, 이들은 원본과 유사하지만 새로운 데이터를 생성하는 데에 중점을 둔다. 이 과정에서 각 특징이 가우시안 분포를 따른다고 가정하고 잠재 벡터는 각 특징에 대한 평균과 분산값을 구한다. Encoder와 Decoder 구조를 활용하여, Encoder에서 입력 이미지에 대한 잠재 벡터를 찾아낸다. 다시 이를 Decoder를 통해 복원해 기존 이미지와 비슷하지만 새로운 확률 분포를 찾아내 새로운 이미지를 생성한다.

확산 모델(Diffusion Model)^[5]은 데이터에 노이즈(noise)를 더한 후, 노이즈(noise)를 점차 제거하며 데이터를 복원해가는 과정을 통해 새로운 데이터를 생성하는 모델이다. 순방향 과정은 고정된 마르코프 연쇄(Markov Chain)를 통해 시간이 지날 때마다 원본 데이터에 점차 노이즈(noise)를 추가하여 순수 노이즈(noise)에 가까운 상태로 만든다. 역방향 과정은 학습된 신경망이 각 단계에서 노이즈(noise)를 예측하고 제거함으로써, 점진적으로 원본 데이터를 복원하는 과정을 통해 새로운 샘플을 생성한다. 확산 모델은 VAE^[4]와 마찬가지로 생성 모델^[11-16]로 활용되고 있다.

그러나 이러한 확산 모델(Diffusion Model)^[5]은 순차적 평가로 인해 추론 비용이 높다는 단점이 있다. 이러한 계산적 부담을 줄이고 확산 모델(Diffusion Model)^[5]의 품질과 유연성을 유지하며 제한된 자원에서 학습을 할 수 있도록 잠재 확산 모델(Latent Diffusion Model)^[6]이 제안되었다.

구체적으로, 잠재 확산 모델(Latent Diffusion Model)^[6]은 학습된 AutoEncoder의 잠재 공간에 확산 모델(Diffusion Model)^[5]을 적용하는 방식이다. 이러한 잠재 확산 모델에서는 먼저 이미지를 저차원의 공간으로 압축하는 Auto Encoder를 학습시킨 후, 확산 모델은 저차원 잠재 공간 내에서 학습되고 작동하여 고품질의 샘플을 생성한다. 생성된 잠재 표현은 AutoEncoder의 Decoder를 통해 다시 원본 공간으로 복원된다.

GraspLDM^[3]은 앞서 설명한 VAE^[4]와 잠재 확산 모델(Latent Diffusion Model)^[6]의 강점을 결합하여, 객체에 대한 다양하고 안정적인 6 자유도(6-DoF) 파지 자세를 합성하는 것을 목표로 한다.

GraspLDM^[3]의 주요 구성 요소 및 작동 방식은 그림 1과 같다. 포인트 클라우드(point cloud) Encoder에서 입력된 객체의 포인트 클라우드(point cloud)를 처리하여 객체의 형상 정보를 압축한 잠재 벡터를 형성한다. Grasp Encoder는 파지 자세와 해당 객체의 형상 잠재 벡터를 입력받아 조건부 파지 벡터로 인코딩한다. Grasp Decoder는 파지 잠재 벡터와 형상 잠재 벡터를 바탕으로 원본 파지 자세를 복원하는 과정을 통해 새로운 파지 자세를 생성한다.

Fig. 1. 
Analysis Pipeline of this study

특정 객체의 포인트 클라우드(point cloud) 데이터에 GraspLDM^[3] 모델을 적용할 때, 객체 크기 변화에 따라 변화되는 입력 데이터에 맞추어 생성되는 파지점의 다양성 및 분포 특성에 미치는 영향을 분석하는 것을 목표로 한다.

3D 객체 메쉬(mesh)로부터 포인트 클라우드(point cloud)를 추출하고, 이를 원본 포함 총 5가지 크기(예: 0.5배, 0.8배 축소, 원본, 1.2배, 1.5배 확대)로 스케일링한다. 각 스케일별 포인트 클라우드(point cloud)에 GraspLDM^[3] 모델을 적용하여 파지 자세를 10개 생성하고, 생성된 파지 자세들로부터 파지점을 추출하여 크기 변화가 파지 특성에 미치는 영향을 분석한다. 그림 1은 이러한 전체 과정을 도식화하여 보여준다.

GraspLDM^[3]은 입력 데이터를 포인트 클라우드(point cloud) 형태로 요구하므로, ARNOLD^[7] 데이터셋 내 객체들의 메쉬(mesh)를 모두 포인트 클라우드(point cloud) 형태로 변환하였다. 스케일링을 적용하기 전, 각 원본 포인트 클라우드(point cloud) 형태를 구성하는 모든 점들의 산술 평균 위치를 계산하여 해당 지점을 객체의 중심으로 정의하였다. 모든 포인트는 이 계산된 중심점을 기준으로 원점으로 평행이동하였다. 이러한 중심점 정렬 과정은 크기 변환의 기준점을 일관되게 설정하여 객체의 위치 변화 없이 순수하게 크기 변화에 대해서만 관찰할 수 있으며, 객체의 원본 형태와 비율은 유지하면서 절대적인 크기만을 변경한다. 중심점 정렬 후, 그림 2에서와 같이, ARNOLD^[7] 데이터셋에서 선정된 8개의 다른 모양을 가진 원본 bottle 객체에 대해 각각 0.5배, 0.8배, 1.2배, 1.5배의 스케일 팩터(scale factor)를 적용하여 총 32개의 포인트 클라우드(point cloud) 데이터를 증강하였다. 원본 객체를 포함하여 총 40개의 객체를 GraspLDM^[3]의 입력으로 사용하여 파지 생성 실험을 진행하였다.

Fig. 2. 
Point cloud augmentation results (a): Bottle object 3854 scaled to 0.5x (b): Bottle object 3854 scaled to 0.8x (c): Bottle object 3854 scaled to 1.2x (d): Bottle object 3854 scaled to 1.5x (e): Bottle object 4200 scaled to 0.5x (f): Bottle object 4200 scaled to 0.8x (g): Bottle object 4200 scaled to 1.2x (h): Bottle object 4200 scaled to 1.5x

본 연구의 목적은 기존 모델이 학습하지 않은 데이터에 대해 생성하는 파지 자세를 분석하는 것이므로, 제공된 사전 학습 모델을 추가 학습 없이 그대로 활용하여 기존 ARNOLD^[7]의 데이터셋의 bottle 객체들과 증강한 데이터들에 대한 파지 생성을 진행하였다.

각 객체 인스턴스에 대한 파지를 생성할 때, GraspLDM^[3]의 추론 단계는 1,000번으로 설정하였으며, 객체당 10개의 파지 자세를 생성하도록 하였다.

GraspLDM^[3]으로부터 생성된 각 파지 자세는 4x4 변환 행렬로 표현된다. 본 연구에서는 이 행렬의 평행이동 성분(m_{1 4}, m_{2 4}, m_{3 4})을 파지점의 3차원 위치 좌표로 정의하여 사용하였다.

이렇게 추출된 파지점들의 위치를 기반으로, 객체의 크기 변화가 객체 중심으로부터 파지점까지의 평균 거리와 해당 거리 분포의 표준 편차에 어떠한 영향을 미치는지 정량적으로 분석하였다. 모든 거리는 객체의 크기 변화 효과를 보정하기 위해 해당 스케일 팩터(scale factor)로 정규화하여 비교하였다.

표 1에서와 같이, 정규화된 평균 파지 거리는 대부분의 객체에서 원본에 대비해 큰 폭으로 증가하였다. 이는 객체가 절반 크기로 작아졌음에도 생성된 파지점들이 객체의 새로운 중심으로부터 상대적으로 멀리 위치하고 있음을 의미한다. 즉, 객체의 축소된 크기에 비해 예상 파지점이 상대적으로 더 외곽에 위치하게 되었음을 의미한다. 정규화된 표준 편차 역시 대부분의 객체에서 증가하는 경향을 보였으며, 특히 일부 객체에서는 그 증가 폭이 컸다. 이는 평균적인 파지점을 중심으로 넓게 분산되어 파지점들이 생성되었음을 의미하며, 결과적으로 파지 위치가 넓게 퍼져 위치하고 있음을 의미한다.

표 2에서와 같이 객체의 크기가 원본 대비 1.2배, 1.5배 확대되었을 때, GraspLDM^[3]이 객체를 축소했을 때와는 구분되는 일관적인 반응을 보였다. 정규화된 평균 파지 거리는 객체가 커짐에 따라 원본 대비 대부분 감소하는 경향을 보였다. 이는 파지점들이 커진 객체 크기에 비례하여 바깥쪽으로 확장되지 않고, 오히려 객체 크기 대비 상대적으로 더 객체 중심부에 가깝게 형성되었음을 의미한다. 정규화된 표준 편차 역시 대부분 객체에 대해 일관되게 감소하였다. 이는 생성된 파지점들이 평균 위치 주변으로 좁은 영역에 집중되어 생성되었음을 의미한다. 즉, 파지점이 다양하기보다 일관성 있게 위치하고 있음을 시사한다.

GraspLDM^[3]은 샘플링 수에 따라 생성 결과가 달라질 수 있는 특성을 가진다. 따라서 각 객체당 10개의 파지 자세를 생성한 기존 결과와 파지 샘플링 수를 20개로 늘려 생성한 결과를 비교하는 실험을 추가로 진행하였다.

정량적 비교에 앞서, 그림 3과 같이 생성된 파지 결과를 시각화하였다. 샘플링 수를 늘려도 10개의 파지 자세를 생성한 기존 결과와 동일하게 GraspLDM^[3]은 객체 크기 변화에 대해 일관된 반응 패턴을 보였다.

Fig. 3. 
Visualization of generated grasps

표 3과 표 4와 같이 10개의 파지 자세를 생성한 결과와 20개의 파지 자세를 생성한 결과가 정량적으로도 비슷한 경향을 보이는 것을 확인하였다. 즉, 객체 크기가 작아지면 파지점이 넓게 분산되고 외곽에 형성되는 경향과 객체 크기가 커지면 파지점이 객체 중심으로 밀집되는 현상이 유지되었다.

GraspLDM^[3]은 입력 객체의 포인트 클라우드(point cloud) 형태를 객체 중심으로 정규화한 상태에서 학습된다. 이로 인해 테스트 시점에 크기가 변형된 객체가 주어지면, 학습 당시와 유사한 형태의 포인트 클라우드(point cloud) 형태로 인식하여 유사한 잠재 표현을 형성하고, 결과적으로 크기 변화에 비례하지 않는 파지 위치를 출력하는 경향을 보인다. 이러한 한계를 사후적으로 보정하기 위해, 생성된 파지의 위치를 각 객체의 스케일 팩터(scale factor)로 나누는 후처리 보정을 적용하였다. 이는 GraspLDM^[3]이 반영하지 못한 객체 크기 차이를 사후적으로 조정하여, 이상적으로 기대되는 파지 위치에 근접시키기 위한 시도이다.

그 결과, 전체 실험 중 약 40.6%의 경우에서만 보정을 적용함으로써 오차가 감소하는 것으로 나타났다. 축소된 객체에서는 오히려 오차가 증가했고, 확대된 객체에서만 제한적으로 보정 효과가 나타났다. 이는 GraspLDM^[3]이 객체 크기에 대해 단순 비례적으로 반응하지 않으며, 후처리 보정 역시 제한적인 효과만을 가진다는 점을 시사한다.

Fig. 4. 
Comparison of error improvement when applying post-processing correction by scale