생성형 AI 영상의 시간 구성 방식에 관한 사례 연구: Kling 기반 바운싱 볼 시퀀스 분석을 중심으로

1. 애니메이션의 본질: 프레임 기반 시간 구성

애니메이션은 전통적으로 정지된 이미지를 시간적으로 배열함으로써 움직임의 환영을 생성하는 시각 매체로 정의되어 왔다. 이러한 정의는 단순한 시각적 착시에 기반한 것이 아니라, 이산적인 이미지들 간의 관계를 통해 연속적인 운동을 구성하는 지각적, 시간적 구조에 기반한다. 즉, 애니메이션은 연속적인 움직임을 기록하는 매체가 아니라, 분절된 상태들을 배열함으로써 움직임을 구성하는 매체이다.

Wells는 애니메이션을 직접 촬영된 움직임이 아닌, 프레임 단위의 조작을 통해 구성된 인공적 운동으로 정의하며, 애니메이션의 본질을 ‘움직임의 생성 과정’에 두고 있다^[1]. 또한 Wells에 따르면 McLaren은 애니메이션을 “움직이는 그림이 아니라, 그려진 움직임의 예술”로 규정하며, 프레임 간 변화 자체가 애니메이션의 본질임을 강조한다^[1]. 이는 애니메이션이 개별 이미지의 집합이 아니라, 이미지 간 변화와 관계를 설계하는 시간적 매체임을 시사한다. 이는 프레임(frame)을 기본 단위로 하는 창작 방식에서 가장 명확하게 드러난다. 하나의 프레임은 특정 시점의 정지 이미지를 의미하며, 이들이 시간적으로 배열될 때 움직임이 형성된다. 특히 전통적인 애니메이션 제작에서는 주요 상태를 정의하는 키프레임과 그 사이를 연결하는 중간 프레임을 통해 움직임이 구성되며, 이는 애니메이션이 개별 프레임의 설계와 그 사이의 관계 설정을 통해 형성된다는 점을 보여준다. 이 과정에서 중요한 것은 개별 프레임의 내용이 아니라 프레임 간 간격과 변화 방식이다. 동일한 시작과 끝 상태를 가지더라도 프레임 간 간격에 따라 전혀 다른 운동이 형성되며, 이는 애니메이션이 시간의 재현이 아니라 시간의 설계에 기반한 매체임을 의미한다. Lasseter는 이러한 원리가 3D 컴퓨터 애니메이션에서도 동일하게 적용됨을 강조하며, 타이밍과 스페이싱이 움직임 형성의 핵심 요소임을 지적한다^[2]. 디지털 환경에서도 이러한 프레임 기반 구조는 유지되었는데, Manovich는 디지털 미디어가 수치적 데이터와 모듈성에 기반하여 구성되며, 영상 또한 분절된 단위들의 집합으로 존재한다는 점을 강조하였다^[3]. 이는 디지털 영상 역시 근본적으로 이산적 구조를 유지하고 있음을 의미하며, 애니메이션의 프레임 기반 시간 구성 원리가 기술 변화에도 불구하고 지속되고 있음을 보여준다. 이러한 논의들은 애니메이션이 이산적 프레임의 배열과 프레임 간 관계 설정을 통해 시간과 움직임을 구성하는 매체임을 보여준다. 따라서 애니메이션은 창작자가 프레임 단위의 관계를 의도적으로 설계함으로써 작동하는 ‘프레임 단위 시간 체계’로 이해될 수 있다.

2. 생성형 AI 영상의 시간 생성 구조

생성형 AI 기반 영상은 전통적인 애니메이션 제작 방식과 달리, 개별 프레임을 직접 설계하고 배열하는 방식이 아니라, 데이터로부터 학습된 확률적 분포를 기반으로 시각적 결과를 생성한다. 특히 최근의 영상 생성 모델은 시공간적 정보를 통합적으로 학습함으로써, 시간 축을 포함한 연속적인 영상 시퀀스를 생성하는 특징을 가진다.

확산 모델(diffusion model)의 경우, 생성 과정은 노이즈 상태에서 시작하여 점진적으로 데이터를 복원하는 방식으로 이루어진다. Ho, Jain, and Abbeel은 이미지 확산 모델의 기본 원리를 제시하며, 이러한 생성 과정이 확률적 복원 절차와 반복적인 노이즈 제거 과정에 기반함을 설명하였다^[4]. 이후 Ho et al.은 이를 영상 생성으로 확장하여 고정된 수의 비디오 프레임을 3D U-Net 기반 확산 모델로 생성하는 Video Diffusion Models를 제안하였다^[5]. 이 연구는 비디오 데이터를 프레임의 단순 나열이 아니라, 프레임 축을 포함한 시공간적 구조로 모델링할 수 있음을 보여준다. 따라서 생성형 AI 영상은 최종적으로 프레임 시퀀스의 형태로 출력되지만, 생성 과정에서는 프레임 간 관계와 시간 축을 포함한 모델링을 통해 시간적 연속성이 형성된다고 이해할 수 있다.

한편, 다른 텍스트-비디오 생성 모델들 역시 시간 구조를 처리하는 방식에서 차이를 보인다. Meta에서 발표한 텍스트-비디오 생성 모델인 ‘Make-A-Video’는 기존 이미지 생성 모델을 시간 차원으로 확장하여 시공간적 구조를 통합적으로 모델링하고, 시간적 어텐션(temporal attention)과 프레임 보간(frame interpolation)을 활용하여 다수의 프레임을 생성하고 시간적 연속성을 형성한다^[6]. Google에서 발표한 텍스트-비디오 생성 모델인 Phenaki는 텍스트 입력을 조건으로 비디오를 이산 토큰 시퀀스로 표현하고, 시간 방향의 인과적 구조를 유지하면서 다수의 비디오 토큰을 병렬적으로 예측하는 방식을 사용한다^[7]. 이러한 모델들은 모두 시간 정보를 포함한 프레임 간 관계를 모델링하며, 생성 과정에서 시간적 연속성과 시퀀스의 일관성을 산출한다. 생성형 AI 영상에서 시간은 사전에 완결된 형태로 주어지는 것이 아니라, 반복적이고 단계적인 연산 과정 속에서 점진적으로 구성되는 특성을 보인다.

결과적으로 생성형 AI 영상은 프레임을 독립적인 설계 단위로 다루는 전통적 애니메이션과 달리, 시공간적 상관관계를 학습한 모델이 확률적으로 영상을 구성한다는 점에서 차이를 가진다. 이때 시간은 외부에서 직접 설계되는 대상이라기보다, 데이터 분포와 생성 알고리즘의 내부 연산 과정 속에서 재구성되는 요소로 이해될 수 있다. 이는 두 매체가 시간과 움직임을 구성하는 방식에서 서로 다른 구조적 원리를 전제하고 있음을 시사한다.

3. 영상 매체에서의 시간성

영상 매체에서 시간은 단순히 흐르는 물리적 차원이 아니라, 매체의 구성 방식과 생성 원리에 따라 서로 다른 형태로 조직되고 경험되는 개념이다. 이러한 시간성은 고정된 실체라기보다, 이미지가 생성되고 배열되는 방식에 따라 달라지는 구조적 속성으로 이해될 필요가 있다.

먼저, Bergson은 시간을 균질적으로 분할 가능한 물리적 단위가 아니라, 질적으로 지속되는 흐름으로 보았다^[8]. 그는 시간을 공간처럼 동일한 단위로 나눌 수 있는 것이 아니라, 의식 속에서 연속적으로 변화하는 경험으로 이해하였으며, 이러한 관점은 시간의 본질이 연속성에 있음을 강조한다. 이와 같은 논의에 따르면, 전통적 애니메이션은 본래 연속적인 시간의 흐름을 프레임이라는 이산적 단위로 분절하고 이를 재배열함으로써 움직임을 구성하는 매체로 해석될 수 있다. 즉, 애니메이션은 지속으로서의 시간을 해체하고, 이를 다시 설계된 구조로 조직하는 방식의 시간 구성 체계를 가진다. 한편, Deleuze는 영화 이미지를 ‘운동-이미지(movement-image)’와 ‘시간-이미지(time-image)’로 구분하며, 영상 매체에서 시간이 드러나는 방식을 설명하였다^[9][10]. 운동-이미지는 인과적 연결과 연속적인 움직임을 통해 시간을 간접적으로 구성하는 방식으로, 고전적 영화 및 애니메이션의 구조와 밀접하게 관련된다. 반면 시간-이미지는 움직임의 연쇄에 의존하지 않고 시간 자체가 직접적으로 드러나는 형태를 의미한다. 이러한 구분은 영상 매체에서 시간이 단순히 재현되는 것이 아니라, 특정한 구성 원리에 따라 다르게 나타날 수 있음을 보여준다. 이러한 시간 개념은 디지털 미디어 환경에서 또 다른 방식으로 확장된다. Manovich는 디지털 미디어가 수치적 데이터와 모듈성에 기반하여 구성된다고 보았으며, 영상 또한 분절 가능한 단위들의 집합으로 존재한다고 설명하였다^[3]. 이는 디지털 환경에서도 프레임 기반 구조가 유지되며, 시간이 데이터 단위로 분할되고 조작될 수 있음을 시사한다. 즉, 디지털 영상 역시 기본적으로는 분절된 요소들의 배열을 통해 시간적 흐름을 구성하는 체계를 유지하고 있다. 생성형 AI 기반 영상에서는 이러한 시간 구성 방식이 다른 방식으로 나타난다. 전통적 애니메이션이 프레임의 배열을 통해 외부에서 시간을 조직하는 ‘구성된 시간(constructed temporality)’에 기반한다면, 생성형 AI 영상에서는 시간적 연속성이 모델 내부의 확률적 연산 과정에서 형성된다. 이는 시간의 흐름이 창작자의 설계에 의해 단계적으로 구성되는 것이 아니라, 모델의 확률적 생성 과정 속에서 형성되는 시간 구성 방식으로 이해될 수 있음을 의미한다.

결과적으로 본 연구는 전통적 애니메이션의 시간을 프레임의 분절과 배열을 통해 외부에서 조직되는 구성적 시간성으로, 생성형 AI 영상의 시간을 모델의 확률적 생성 과정에서 형성되는 생성적 시간성으로 구분한다. 여기서 ‘생성적 시간성(generative temporality)’은 시간적 사건의 발생 시점, 간격, 지속, 운동 궤적이 창작자의 프레임 단위 설계가 아니라 모델의 생성 과정 속에서 형성되는 성질을 의미한다. 따라서 결과물의 변동성은 생성적 시간성 자체가 아니라, 시간적 사건이 생성 과정 안에서 산출되고 있음을 보여주는 관찰 지표로 이해할 수 있다.

1. 시간 구성 방식의 비교 기준

전통적 애니메이션과 생성형 AI 영상은 모두 최종적으로 프레임의 연속을 통해 움직임을 제시하지만, 시간 구조가 형성되는 방식에는 차이가 있다. 전통적 애니메이션에서 시간은 창작자가 프레임 단위로 직접 설계하고 배열하는 방식으로 구성된다. 애니메이터는 키프레임과 중간 프레임을 설정하고, 타이밍(timing)과 스페이싱(spacing)을 조정함으로써 움직임의 속도, 무게감, 접촉, 반동, 리듬을 의도적으로 통제한다. 따라서 바운싱 볼과 같은 기본 운동 사례에서 바닥 접촉 시점, 압축 변형, 반동 타이밍은 창작자가 프레임 단위로 조절할 수 있는 시간적 사건에 해당한다.

반면 생성형 AI 영상에서 창작자는 개별 프레임의 위치나 프레임 간 운동 간격을 직접 지정하기보다, 텍스트 프롬프트, 영상 길이, 화면비, 해상도와 같은 생성 조건을 설정한다. 최종 결과물은 프레임 시퀀스의 형태로 출력되지만, 각 프레임 사이의 운동 관계와 시간적 사건의 발생 시점은 모델의 시공간적 생성 과정 속에서 형성된다. 따라서 생성형 AI 영상에서 바닥 접촉, 반동, 상승과 같은 사건은 창작자의 직접적인 프레임 설계 결과라기보다, 프롬프트와 생성 조건을 바탕으로 모델이 산출한 결과로 이해할 수 있다.

본 연구에서는 이러한 차이를 바탕으로 전통적 애니메이션의 프레임 단위 시간 구성을 이론적 비교 기준으로 설정하고, 생성형 AI 영상에서 시간적 사건이 어떻게 형성되고 변동되는지를 사례 분석을 통해 검토한다. 특히 바운싱 볼 시퀀스는 애니메이션 교육과 제작에서 타이밍, 스페이싱, 접촉, 반동을 설명하는 기본 운동 사례이므로, 생성형 AI 영상의 시간 구성 방식을 관찰하기 위한 분석 대상으로 적합하다. 이에 본 연구는 동일한 바운싱 볼 운동 과제를 생성형 AI 모델에 반복적으로 제시하고, 각 결과물에서 최초 바닥 접촉 시점과 반동 양상이 어떻게 달라지는지를 분석함으로써 생성형 AI 영상의 시간 구성 특성을 살펴본다.

2. 전통적 애니메이션과 생성형 AI 영상의 시간 구성 방식의 차이

앞서 정리한 비교 기준에 따라 전통적 애니메이션과 생성형 AI 영상의 시간 구성 방식은 시간의 단위, 시간 통제 방식, 창작 개입 수준에서 구분될 수 있다. 이러한 차이는 [표 1]과 같이 정리할 수 있다.

Table 1.

Differences Between Frame-based Animation and Generative AI Video

[표 1]에서 보듯이 전통적 애니메이션은 창작자가 프레임 간 간격과 변화를 직접 설계함으로써 시간 구조를 구성하는 반면, 생성형 AI 영상은 프롬프트와 생성 조건을 바탕으로 모델이 시간적 사건을 산출한다. 따라서 두 매체의 차이는 단순히 제작 기술의 차이에 그치지 않고, 시간과 움직임이 형성되는 방식의 차이로 확장된다. 본 연구는 이러한 차이를 바탕으로, 생성형 AI 영상에서 바닥 접촉과 반동 같은 시간적 사건이 동일한 조건에서도 어떻게 달라지는지를 사례 분석을 통해 검토한다.

3. 사례 분석: 공 운동 시퀀스를 통한 시간 구성 방식 비교

3.1 실험 조건 및 분석 기준

전통적 애니메이션과 생성형 AI 영상의 시간 구성 방식 차이를 구체적으로 검토하기 위해, 본 연구에서는 생성형 AI 영상에 대한 사례 분석을 중심으로 논의를 진행하였다. 전통적 애니메이션의 시간 구성 방식은 기존 이론과 제작 원리를 통해 비교적 명확하게 설명될 수 있는 반면, 생성형 AI 영상의 경우 동일한 조건에서도 결과가 매번 다르게 생성되는 특성을 보인다. 따라서 생성형 AI 영상의 시간 구조가 어떠한 방식으로 형성되는지를 사례적으로 확인하는 것이 필요하다고 판단하였다. 이에 동일한 공 튀기기 장면을 대상으로 반복 생성 분석을 수행하고, 그 결과를 바탕으로 시간 구성 방식의 변동성을 분석하였다. 본 연구는 생성형 AI 영상에서 시간적 사건이 어떠한 방식으로 형성되고 변동되는지를 확인하기 위해 Kling Video Model 3.0을 사용하여 바운싱 볼 시퀀스를 반복 생성하였다. Kling은 동일한 텍스트 프롬프트와 기본 생성 조건을 유지한 상태에서 짧은 영상을 반복 생성할 수 있다는 점에서, 동일한 운동 과제에 대한 샘플 간 시간 구조의 차이를 탐색적으로 관찰하는 데 적합하다. 다만 본 연구는 Kling의 내부 구조나 생성 원리를 일반화하려는 것이 아니라, 특정 모델에서 관찰되는 시간 구성 양상을 사례적으로 분석하는 데 목적이 있다.

생성 방식은 텍스트-투-비디오(text-to-video) 방식이며, 동일한 프롬프트를 반복 입력하여 총 10개의 영상을 생성하였다. 생성된 10개의 영상은 모두 분석 대상으로 포함하였다. 영상 길이는 3초로 설정하였으며, 분석 대상 영상의 프레임 속도는 24 fps, 해상도는 720p, 화면비는 16:9이다. 별도의 seed 고정, 스타일 프리셋, 추가 설정값은 적용하지 않았으며, 다운로드 이후 영상 편집, 속도 조절, 프레임 보간 등의 후처리는 수행하지 않았다. 이러한 생성 조건은 [표 2]와 같다.

Table 2.

Generation Conditions for Generative AI Video Samples

분석 기준은 ‘공이 최초로 바닥에 닿는 프레임’으로 설정하였다. 본 연구에서 바닥 접촉 프레임은 공의 최하단 윤곽이 화면 내 바닥 선과 처음으로 맞닿거나, 공의 압축 변형이 시작되는 최초 프레임으로 정의하였다. 생성된 영상은 프레임 단위로 확인하였으며, 연구자가 각 시퀀스의 전후 프레임을 비교하여 접촉 여부를 수동 판정하였다. 바닥 접촉 여부가 모호한 경우에는 공의 최하단 위치, 압축 변형의 시작 여부, 이후 반동 움직임의 발생 여부를 함께 검토하여 최초 접촉 프레임을 결정하였다. 해당 시점은 공의 운동이 명확하게 드러나는 최초의 시점으로, 이후 반동과 궤적 형성에도 직접적인 영향을 미친다. 따라서 동일한 프롬프트 조건에서 생성된 영상 간 시간 구조의 일관성과 변동성을 정량적으로 비교할 수 있는 유효한 지표로 판단하였다. 또한 판정의 일관성을 확보하기 위해 동일 영상을 일정 시간 간격을 두고 2회 반복 확인하였으며, 1차와 2차 판정 결과가 다른 경우에는 해당 구간의 전후 프레임을 재검토하여 최종 프레임을 확정하였다.

3.2 분석 결과

3.1에서 제시한 프롬프트를 활용하여 총 10개의 생성형 AI 영상을 Kling 모델을 통해 생성하였으며, 그 결과는 [그림 1] 및 [표 3]과 같다.

Fig. 1.

Ground Contact Frames of Generated Video Samples

Table 3.

Analysis Results of Ground Contact Timing in Generated Video Samples

[표 3]에 제시한 바와 같이, 동일한 프롬프트와 동일한 생성 조건을 적용하였음에도 각 샘플의 최초 바닥 접촉 시점은 일정하게 나타나지 않았다. 10개 샘플의 접촉 시점은 최소 14프레임에서 최대 40프레임까지 분포하였으며, 이는 24 fps 기준 약 0.58초에서 1.67초에 해당한다. 또한 접촉 이후의 반동 양상에서도 차이가 확인되었다. 대부분의 샘플에서는 최초 접촉 이후 명확한 반동이 나타났으나, S3과 S8에서는 반동이 상대적으로 약하게 나타났으며, S5의 경우에는 프롬프트에서 제시한 ‘once’ 조건과 달리 접촉과 반동이 여러 차례 반복되는 양상을 보였다.

형태 변형의 경우 일부 샘플에서 접촉 시점 전후로 공의 압축 또는 일시적인 형태 변화가 관찰되었다. 다만 본 연구의 핵심 분석 대상은 공의 형태 변화 정도가 아니라, 바닥 접촉과 반동이라는 시간적 사건이 어느 시점에서 발생하는가에 있다. 또한 생성 영상마다 공의 크기, 위치, 압축 정도가 달라 형태 변형을 정량적 기준으로 비교하기에는 한계가 있으므로, 본 연구에서는 형태 변형을 독립적인 분석 항목으로 설정하지 않고 접촉 및 반동 판정을 보조하는 관찰 요소로만 활용하였다.

[그림 2]는 각 샘플의 최초 바닥 접촉 프레임과 이를 24 fps 기준으로 환산한 시간을 시각화한 것이다. 이를 통해 동일한 생성 조건에서도 바닥 접촉이라는 시간적 사건의 발생 시점이 샘플별로 다르게 나타남을 확인할 수 있다.

Fig. 2.

Variability in First Ground Contact Frame and Time Across SamplesNote: Contact time was calculated by converting the contact frame based on 24 fps

바닥 접촉 시점의 변동성을 보다 명확히 제시하기 위해, [표 3]의 접촉 프레임 값을 바탕으로 기술통계를 산출하였다. 접촉 시간은 24 fps 기준으로 접촉 프레임을 초 단위로 환산한 값이며, 기술통계에는 평균, 표준편차, 최소값, 최대값, 중앙값을 포함하였다. 그 결과는 [표 4]와 같다.

Table 4.

Descriptive Statistics of Ground Contact Frame and Time

분석 결과, 최초 바닥 접촉 시점의 평균은 26.50프레임으로 나타났으며, 이는 24 fps 기준 약 1.10초에 해당한다. 표준편차는 7.88프레임, 약 0.33초로 나타났고, 최소값은 14프레임, 최대값은 40프레임으로 확인되었다. 이러한 결과는 동일한 프롬프트와 동일한 생성 조건을 적용하였음에도 불구하고, 바닥 접촉이라는 시간적 사건의 발생 시점이 샘플별로 일정하게 고정되지 않았음을 보여준다.

이러한 변동성은 생성적 시간성 그 자체라기보다, 생성적 시간성이 사례 분석에서 관찰되는 방식으로 이해할 수 있다. 즉, 동일한 운동 과제가 제시되었음에도 바닥 접촉 시점과 반동 양상이 다르게 나타났다는 점은 시간적 사건의 발생 시점과 운동 간격이 프레임 단위로 사전에 고정된 것이 아니라, 모델의 생성 과정 속에서 산출되었음을 보여주는 사례적 근거이다. 전통적 애니메이션에서는 바닥 접촉 시점과 반동 타이밍이 프레임 단위로 명확하게 결정되며, 동일한 시간 구조를 반복적으로 재현할 수 있다. 반면 생성형 AI 영상에서는 동일한 프롬프트를 사용하더라도 시간적 사건의 발생 시점이 영상마다 달라지며, 이는 시간 구조가 창작자의 직접적 설계에 의해 고정되지 않고 모델의 확률적 생성 과정 속에서 가변적으로 형성될 수 있음을 시사한다.