멀티모달 신호 변환을 통한 수직적 도상의 매체 고고학적 재구성: 미디어 설치 작품〈진동하는 영매: 탑의 고고학〉사례 연구

1. 연구 배경 및 문제 제기

동시대 미디어아트에서 이미지, 사운드, 움직임, 데이터는 더 이상 분리된 감각 요소로만 작동하지 않는다. 특히 실시간 사운드 분석, 파티클 시스템, 생성형 인공지능, 3D 모델링, 인터랙티브 소프트웨어를 활용한 작업에서는 하나의 감각 정보가 다른 감각 형식으로 변환되며 작품의 구조를 형성한다. 이러한 멀티모달 매핑은 소리를 시각화하거나 이미지에 움직임을 부여하는 기술적 효과에 그치지 않고, 서로 다른 매체와 감각 형식이 의미를 생성하는 방식을 재조직한다. 멀티모달 분석에서는 의미가 언어, 이미지, 소리, 몸짓, 공간 배치 등 여러 양식의 결합 속에서 구성된다고 본다^[1]. 이러한 관점은 미디어아트에서 사운드와 이미지의 결합을 단순한 동기화가 아니라 감각 양식 간 번역과 재구성의 과정으로 이해하게 한다.

사운드가 파티클의 움직임, 밀도, 확산, 수렴, 진동을 결정할 때, 시각 이미지는 더 이상 고정된 표면이 아니라 시간 속에서 반응하고 변화하는 사건이 된다. 이때 중요한 것은 시청각 정보의 결합 자체가 아니라, 어떤 이미지가 어떤 소리에 의해 다시 움직이고, 해체되며, 재구성되는가의 문제이다. 특히 역사적 도상이나 기념비적 형상이 실시간 사운드 매핑을 통해 파티클 이미지로 전환될 때, 도상은 고정된 상징물에서 유동적이고 불안정한 매체적 구조로 변화한다.

본 연구는 이러한 문제의식을 바탕으로 수직적 도상의 재구성에 주목한다. 다보탑, 교회 첨탑, 민주주의 도상은 서로 다른 시대적, 종교적, 정치적 배경을 지니지만, 모두 수직적 상승 구조를 통해 공동체적 안녕과 구원, 자유에 대한 상상을 가시화해 왔다. 이들은 단순한 건축물이나 조형물이 아니라, 특정 시대가 지향한 초월적 질서와 사회적 욕망을 압축한 기념비적 도상이다. 그러나 디지털 매체 환경에서 이러한 도상은 더 이상 물질적 기념비의 형태로만 존재하지 않는다. 사운드, 데이터, 파티클, 디스플레이 장치와 결합하면서 과거의 도상은 현재의 감각 조건 속에서 다시 호출되고 변형된다.

이 지점에서 미디어 고고학의 관점이 필요하다. 미디어 고고학은 미디어의 역사를 선형적 발전의 과정으로만 이해하기보다, 과거의 형식, 장치, 도상, 감각 구조가 현재의 매체 환경 속에서 반복적으로 재등장하고 변형되는 방식에 주목한다^[3][4]. 또한 재매개 논의는 새로운 매체가 기존 매체를 대체하기보다, 이전 매체의 형식과 관습을 다시 조직하면서 작동한다는 점을 보여준다^[5]. 이러한 논의는 브라운관 모니터, 역사적 도상, 디지털 파티클 이미지, 실시간 사운드 매핑이 하나의 설치 구조 안에서 결합되는 작품을 분석하는 데 유효한 관점을 제공한다.

2. 연구 목적과 연구 방법

본 연구의 목적은 제작 중인 미디어아트 작품 〈진동하는 영매: 탑의 고고학〉을 사례로, 수직적 도상이 사운드 기반 멀티모달 매핑을 통해 어떻게 미디어 고고학적으로 재구성되는지를 분석하는 데 있다. 이 작품은 다보탑, 교회 첨탑, 민주주의 도상을 파티클 이미지로 변환하고, 목탁 소리, 그레고리안 찬트, 민주주의 구호와 같은 청각 신호를 통해 이들의 움직임을 변화시키는 방식으로 구성된다. 작품에서 사운드는 배경음이나 분위기 조성 요소가 아니라, 도상의 형태와 움직임을 실시간으로 변형시키는 입력값으로 작동한다. 따라서 본 연구는 사운드와 이미지의 결합이 역사적 도상의 의미 구조를 어떻게 흔들고 재구성하는지에 초점을 둔다.

본 연구는 완성작의 관객 반응을 검증하는 연구가 아니라, 제작 중인 미디어아트 작품의 구성 원리와 도상 재구성 방식을 분석하는 제작 기반 사례 연구이다. 이에 따라 분석의 초점은 관객 경험의 실증적 측정이나 시스템 성능 평가에 있지 않다. 대신 작품 제작 과정에서 선택된 도상, 사운드 자료, 파티클 이미지, 브라운관 모니터 설치 구조, TouchDesigner 기반 매핑 방식이 어떠한 의미 관계를 형성하는지를 해석적으로 고찰한다. 분석 자료는 작품 기획문, 설치안 이미지, 화면 스틸컷, 사운드 출처, 제작 과정에서 정리된 사운드-도상 매핑 구조를 포함한다.

구체적으로 본 연구는 두 가지 질문을 중심으로 진행된다. 첫째, 세 수직적 도상은 각각의 사운드와 어떻게 연결되어 파티클 운동으로 변환되는가. 둘째, 이러한 변환은 CRT 설치 구조와 결합하면서 어떠한 미디어 고고학적 의미를 형성하는가. 이를 위해 본 연구는 먼저 멀티모달 매핑, 미디어 고고학, 재매개, 수직적 도상에 관한 이론적 논의를 검토하여 작품 분석의 개념적 틀을 마련한다. 다음으로 〈진동하는 영매: 탑의 고고학〉의 제작 구조를 정리하고, 세 도상과 세 청각 신호가 어떻게 대응되는지 분석한다. 마지막으로 사운드에 따라 파티클 이미지가 확산, 수렴, 상승, 팽창, 정지하는 과정을 검토하고, 이를 수직적 도상의 미디어 고고학적 재구성이라는 관점에서 논의한다.

3. 연구 대상과 범위

본 연구의 대상은 작가가 제작 중인 미디어아트 작품 〈진동하는 영매: 탑의 고고학〉이다. 이 작품은 역사적·종교적·정치적 배경이 다른 세 개의 수직적 도상을 하나의 연속된 문제의식 안에서 다룬다. 다보탑은 불교적 수행과 국가적 안녕에 대한 염원을 담은 도상으로, 교회 첨탑은 하늘과 땅을 잇는 수직적 구조를 통해 중세적 신앙 질서와 공동체적 평안을 상징하는 도상으로, 자유의 여신상은 인간의 권리와 민주주의적 자유를 수직적으로 드러내는 정치적 도상으로 설정된다. 본 연구는 이 세 도상을 역사적 상징으로만 보지 않고, 공동체의 평안과 구원에 대한 욕망을 수직적 구조로 가시화한 반복적 도상 형식으로 해석한다.

작품은 브라운관 모니터를 수직적으로 배치한 설치 구조와 파티클 기반 영상 이미지로 구성된다. 이때 브라운관 모니터는 단순한 출력 장치가 아니라, 작품의 핵심 개념인 ‘탑’의 구조를 물리적으로 형성하는 장치로 기능한다. 화면 내부에서는 역사적 도상이 파티클 이미지로 해체되고 재구성되며, 화면 외부에서는 낡은 디스플레이 장치가 수직적으로 쌓여 하나의 기념비적 형식을 이룬다. 또한 CRT 모니터는 현재는 주로 사용되지 않은 오래된 유물이 된 매체이다. 현대의 기술인 실시간 멀티모달이 4:3 사이즈의 오래된 CRT 모니터 속에서 일그러지고 화질이 저하되어 송출된다. 이러한 시도를 통해 저자는 미디어의 발전사를 선형적 진보로 파악하는 지배적 담론에서 벗어나, 구식 매체의 물질성과 현대의 디지털 기술을 충돌시킴으로써 과거와 현재가 단절되지 않은 비선형적 시공간으로 재배치하고자 하였다. 즉, 저하된 화질과 왜곡된 인터페이스는 기술적 낙후성을 의미하는 것이 아니라, 잠재화되어 있던 매체의 고유한 물질적 층위를 현재의 시점에서 재발굴하여 기술의 연대기적 질서에 균열을 낸다. 따라서 본 연구의 분석 대상은 화면 속 이미지에만 한정되지 않는다. 도상, 사운드, 파티클, 디스플레이 장치, 설치 구조가 함께 만들어내는 매체적 관계를 분석 범위로 삼는다.

다만 본 연구는 작품이 아직 제작 중이라는 점을 고려하여 분석 범위를 명확히 제한한다. 본 연구는 완성된 전시 결과나 관객 수용 효과를 다루지 않는다. 또한 사운드 데이터의 정량적 분석이나 매핑 알고리즘의 기술적 성능 검증을 목표로 하지 않는다. 연구의 범위는 제작 중인 작품의 도상 선택, 사운드-이미지 매핑 구조, 브라운관 설치 방식, 파티클 이미지의 시각적 변환 원리를 분석하고, 이를 통해 수직적 도상이 현재의 미디어 환경 속에서 재구성되는 방식을 논의하는 데 있다. 이러한 범위 설정을 통해 본 연구는 〈진동하는 영매: 탑의 고고학〉을 완성작의 결과물이 아니라, 미디어 고고학적 도상 재구성을 탐색하는 제작 과정의 사례로 다룬다.

1. 멀티모달 매핑과 사운드 기반 시각화

멀티모달 매핑은 서로 다른 감각 양식 사이의 관계를 설정하고, 하나의 입력값을 다른 표현 체계로 변환하는 과정을 의미한다. 멀티모달 분석에서는 의미가 언어, 이미지, 소리, 움직임, 공간, 물질적 배치의 결합 속에서 구성된다고 본다^[1]. 이러한 관점에서 미디어아트의 사운드-이미지 결합은 단순한 시청각 동기화가 아니라 감각 양식 간 변환과 재조직의 과정으로 이해될 수 있다.

사운드 기반 시각화는 소리의 리듬, 강도, 주파수, 지속 시간, 중단과 같은 청각적 특성을 시각적 형태와 움직임으로 전환하는 방식이다. 디지털 아트에서 이러한 전환은 이미지가 고정된 결과물이 아니라 실시간으로 생성되고 변형되는 과정임을 드러낸다^[2]. 특히 파티클 시스템이나 실시간 그래픽 환경에서 사운드는 밀도, 속도, 방향, 확산과 수렴의 변화를 유도하는 입력값으로 작동하며, 이미지는 소리의 변화에 따라 다시 구성되는 가변적 구조가 된다.

본 연구에서 다루는 사운드 기반 매핑은 기술적 효과의 차원에만 머무르지 않는다. 서로 다른 청각 신호는 파티클 이미지의 밀도, 방향, 확산, 수렴, 정지와 같은 시각적 운동을 구분하는 기준이 된다. 따라서 사운드는 배경음이 아니라 도상의 상태와 운동을 변화시키는 매체적 조건으로 기능한다.

이러한 관점에서 멀티모달 매핑은 단순한 시각화 기술이 아니라 도상 해석의 방법으로 확장된다. 사운드가 도상의 움직임과 불안정성을 구성할 때, 역사적 도상은 고정된 상징에서 벗어나 시간 속에서 재조합되는 이미지로 전환된다. 본 연구는 이 지점에서 사운드 기반 시각화를 수직적 도상의 재구성 과정으로 해석한다.

2. 미디어 고고학과 도상의 재매개

미디어 고고학은 미디어의 역사를 새로움과 진보의 연속으로만 이해하지 않고, 과거의 장치, 형식, 이미지, 감각 구조가 현재의 매체 환경 속에서 반복적으로 재등장하는 방식에 주목한다^[3][4]. 이 관점에서 동시대 미디어아트는 최신 기술의 결과물로만 볼 수 없으며, 과거의 매체 형식과 감각 구조가 현재의 디지털 기술 속에서 다시 조직되는 장으로 이해될 수 있다.

특히 미디어 고고학에서 중요한 것은 과거의 매체가 사라지는 것이 아니라 다른 형식으로 되돌아온다는 점이다. 낡은 매체는 단순히 폐기된 기술이 아니라, 현재의 매체 환경 속에서 새로운 의미를 획득하는 물질적 흔적으로 작동할 수 있다. 이러한 관점에서 오래된 디스플레이 장치는 과거의 미디어 감각을 현재의 이미지 환경으로 호출하는 매개체가 된다.

재매개 논의 역시 이와 연결된다. 새로운 매체는 이전 매체를 완전히 대체하기보다, 기존 매체의 형식과 관습을 흡수하고 변형하면서 작동한다^[5]. 본 연구는 이러한 관점을 바탕으로 역사적 도상, 낡은 디스플레이 장치, 실시간 그래픽 시스템이 하나의 설치 구조 안에서 겹쳐지는 방식을 분석한다.

따라서 본 연구에서 미디어 고고학은 오래된 이미지를 참조하는 배경 이론에 머무르지 않는다. 그것은 도상이 어떤 장치 위에서 다시 나타나고, 과거의 기념비가 어떤 디지털 형식으로 변환되며, 낡은 영상 매체가 현재의 인터페이스와 어떤 관계를 맺는지를 분석하는 관점이다. 이때 도상의 재매개는 이미지의 복원이 아니라, 과거의 상징 구조가 현재의 매체 조건 속에서 다시 구성되는 과정으로 이해된다.

3. 수직적 도상과 공동체적 안녕의 토포스

수직적 도상은 종교적, 정치적, 사회적 권위와 밀접하게 연결되어 왔다. 탑, 첨탑, 기념비, 상징적 조형물은 위로 상승하는 구조를 통해 초월성, 권위, 신념, 공동체적 지향을 가시화한다. 종교적 공간에서 수직성은 하늘과 땅의 연결, 인간과 초월적 질서의 관계를 상징하는 구조로 이해되어 왔다^[6]. 또한 기념비는 특정 사건이나 인물의 기억을 보존하는 물질적 장치일 뿐 아니라, 한 사회가 중요하게 여기는 가치와 질서를 공적 공간에 고정하는 방식으로 기능한다^[7].

본 연구에서 다보탑, 교회 첨탑, 민주주의 도상은 서로 다른 문화적·역사적 맥락을 지니지만, 모두 수직적 구조를 통해 공동체적 안녕과 구원의 상상을 가시화한다는 점에서 연결된다. 다보탑은 불교적 세계관 속에서 종교적 초월성과 국가적 안녕에 대한 염원을 담은 도상으로 볼 수 있다. 교회 첨탑은 신성한 질서와 공동체의 평안을 하늘을 향한 수직 구조로 표현한다. 민주주의 도상은 자유의 여신상과 정치적 발화 이미지를 포함하며, 인간의 권리, 자유, 민주주의라는 근대적 가치를 수직적 기념비의 형식으로 드러낸다. 이처럼 세 도상은 각각 불교적 수행, 기독교적 신앙, 민주주의적 이념을 배경으로 하지만, 모두 공동체가 바라는 평안과 질서를 위로 향하는 형상으로 조직한다.

이러한 반복적 구조는 미디어 고고학에서 말하는 토포스의 관점으로 해석할 수 있다. 미디어 고고학자 중 한 사람인 에르키 후타모는 토포스라는 개념을 제시한다. 에르키 후타모는 특정 시대에만 속한 이미지가 아니라, 서로 다른 매체와 역사적 조건 속에서 반복적으로 나타나는 관습적 형식과 상징 구조를 파악한다^[4]. 본 연구는 수직적 도상을 인간 공동체가 초월성, 권위, 구원, 자유, 평안을 상상해 온 반복적 도상 형식으로 해석한다.

그러나 본 연구에서 중요한 것은 이러한 수직적 도상이 디지털 매체 환경에서 안정된 기념비로만 유지되지 않는다는 점이다. 〈진동하는 영매: 탑의 고고학〉에서 수직적 도상은 파티클 이미지로 변환되고, 사운드 입력에 따라 유동적으로 변화한다. 이 과정에서 작품은 수직적 도상의 토포스를 유지하면서도, 이를 실시간 매핑과 디지털 파티클 구조 속에서 불안정하게 재구성한다.

따라서 본 연구는 사운드와 이미지가 결합된 멀티모달 매핑이 미디어 고고학과 재매개를 과거 도상과 낡은 디스플레이 장치가 현재의 매체 환경 속에서 다시 작동하는 방식을 수직적 도상을 공동체적 안녕과 구원에 대한 반복적 토포스로 이해한다. 이러한 관점은 이후 작품의 제작 구조와 사운드-도상 매핑 분석을 위한 개념적 틀을 제공한다.

1. 작품 개요와 제작 배경

〈진동하는 영매: 탑의 고고학〉은 제작 중인 미디어아트 작품으로, 역사적·종교적·정치적 도상을 사운드 기반 파티클 이미지로 재구성하는 멀티모달 영상 설치 작업이다. 작품은 다보탑, 교회 첨탑, 민주주의 도상이라는 세 개의 수직적 이미지를 중심으로 구성되며, 각 도상은 특정 사운드와 연결되어 서로 다른 파티클 운동으로 전환된다. 본 장에서는 작품의 도상 선택, 사운드 자료, 제작 방식, CRT 설치 구조를 정리함으로써 이후 분석의 기초를 마련한다.

작품의 제작 배경은 수직적 도상을 고정된 기념비가 아니라 사운드에 의해 변화하는 이미지로 다룰 수 있는가에 대한 질문에서 출발한다. 이를 위해 작품은 역사적 도상을 단일한 조각적 형상으로 재현하지 않고, 파티클 기반 이미지로 변환하여 소리의 변화에 따라 흔들리고 다시 응집되는 구조로 설계한다. 작품 제목의 ‘영매’는 과거 도상과 현재의 감각 환경을 연결하는 매개적 장치를 의미한다. 본 장에서는 이 개념을 작품의 제작 구조 차원에서 다루고, 이에 대한 미디어 고고학적 의미는 5장에서 논의한다.

2. 세 도상의 선택: 다보탑, 교회 첨탑, 민주주의 도상

작품에서 선택된 세 도상은 다보탑, 교회 첨탑, 자유의 여신상 도상이다. 다보탑은 한국 불교문화를 대표하는 수직적 조형물로, 불교적 수행과 국가적 안녕에 대한 염원을 상징하는 도상으로 설정된다. 본 연구에서는 다보탑을 종교적 초월성과 공동체적 질서를 함께 드러내는 수직적 도상으로 해석한다.

교회 첨탑은 하늘과 땅을 연결하는 수직적 구조를 통해 기독교적 신앙 질서와 공동체의 평안을 상징하는 도상으로 설정된다. 첨탑은 높은 지점을 향해 상승하는 형식을 통해 신성한 질서와 초월적 방향성을 시각화한다.

자유의 여신상 도상은 민주주의와 정치적 발화의 이미지를 포함하는 근대적 기념비의 영역으로 설정된다. 이 도상은 종교적 초월성보다 인간의 권리, 자유, 민주주의, 시민적 평화의 가치를 수직적으로 드러낸다. 이처럼 세 도상은 각각 불교, 기독교, 민주주의라는 서로 다른 문화와 역사적 체계를 배경으로 하지만, 모두 공동체적 안녕과 구원의 상상을 수직적 구조로 가시화한다는 공통된 토포스를 공유한다.

3. 사운드 자료와 상징적 맥락

작품에 사용되는 사운드는 각 도상의 역사적·상징적 맥락과 대응하도록 구성된다. 다보탑에는 목탁 소리가 연결된다. 목탁 소리는 짧고 규칙적인 타격음이 반복되는 구조를 가지며, 불교적 수행, 집중, 반복, 의례의 감각을 환기한다. 해당 음원은 공유마당에서 제공된 1분 길이의 목탁 소리 자료를 기반으로 한다^[8]. 작품에서 목탁 소리는 다보탑의 청각적 대응 요소로 사용된다. 이 과정에서 목탁 소리 특유의 짧은 타격 신호가 순간적으로 올라갈 때마다 3D 도상의 입자들이 중심축을 기준으로 외곽을 향해 대칭적으로 확장되었다가, 사운드가 감소될 때 다시 원래의 중심점으로 수렴(Percussion)하며 원형을 복원하는 기하학적 반복성(Repetitive)을 나타낸다. 즉, 사운드 소스 자체가 가진 규칙적인 시간 간격과 일정한 진폭의 물리적 특성이 규칙적으로 팽창·수축하는 균일한 입자 반응(Uniform Particle Response)을 만들어낸다.

교회 첨탑에는 그레고리안 찬트 중 Sanctus polyphony 음원이 사용된다. 이 음원은 약 1분 10초 길이로, 인간의 목소리와 종교적 울림이 지속적으로 이어지는 구조를 가진다^[9]. 약 1분 10초 길이의 이 음원은 목탁 소리가 가진 짧은 타격과 반복의 리듬과 달리, 여러 사람이 화음을 맞추며 부르는 다성음악(Polyphony)으로 구성되어 공명(Resonance), 지속음, 잔향을 통해 공간적 상승감을 형성한다. 작품에서는 이러한 청각적 특성이 교회 첨탑의 종교적·공간적 맥락과 연결된다. 작품에서 사운드 자체에 내재된 다성적 구조와 잔향의 깊이가 노이즈 파형을 끊임없이 미세하게 일렁이도록 유도한다. 그 결과, 3D 도상의 입자들이 순간적으로 튀지 않고 도상의 외곽 윤곽을 따라 유체의 흐름처럼 끊임없이 일렁이며 이동하는 연속적인 시각적 흐름(Continuous Particle Flow)을 형성한다.

민주주의 도상에는 저자가 직접 녹음한 구호와 링컨의 게티즈버그 연설을 참조한 LibriVox 낭독 음원을 편집한 사운드가 사용된다^[10]. 이 사운드는 약 1분 10초 길이로 구성되며, 선율적 흐름보다는 발화, 강세, 중단, 반복의 구조가 두드러진다. 작품에서는 이러한 언어적 리듬이 민주주의 도상의 청각적 대응 요소로 사용된다. 구호와 연설 낭독은 정치적 공동체가 자유와 권리를 언어로 표명하는 상황을 환기한다. 인간의 발화(Speech)는 악기 음원에 비해 음폭의 변화가 일정하고 국소적이기 때문에, 연설자가 특정 단어에 강세(Emphasis)를 두어 발화하는 구간에서는 음압의 미세한 상승에 동기화된다. 때문에 3D 도상의 입자들이 일정 부분에 밀도 있게 쏠리는 현상을 나타낸다. 반면, 사운드의 음성이 중단(Pause)되는 구간에서는 사운드 진폭 에너지가 즉각적으로 감소함에 따라 꼭짓점들의 움직임이 그 자리에 그대로 멈추게 된다. 결과적으로 사운드 자체에 내재된 발화의 강세와 중단이라는 물리적 신호의 특성이 기하학적 좌표의 가동과 정지로 일대일 치환됨에 따라, 형태의 움직임과 멈춤이 명확하게 반복되는 불연속적인 파티클 반응(Discontinuous Particle Response)을 만들어낸다.

이러한 대응 관계는 표 1과 같이 정리할 수 있다.

Table 1.

Icon, sound, and mapping structure

4. AI, 3D, TouchDesigner 기반 제작 방식

작품 제작은 도상 레퍼런스 생성, 3D 모델링, 파티클 변환, 사운드 매핑의 순서로 구성된다. 먼저 생성형 인공지능을 활용하여 다보탑, 교회 첨탑, 민주주의 도상의 시각적 레퍼런스를 제작하고, 이를 바탕으로 각 도상의 수직적 형태와 상징적 특징을 3D 모델링 과정에서 정리한다. 이후 도상 이미지는 고정된 표면이 아니라 점, 선, 입자, 빛의 흐름으로 구성되는 파티클 이미지로 변환된다.

파티클 구조는 도상을 분해와 재조립이 가능한 가변적 이미지로 만들기 위한 핵심 장치이다. 이를 통해 도상은 완결된 기념비적 형상보다 변화 가능한 시각 구조로 제시된다. 이러한 방식은 수직적 도상을 물질적 기념비에서 유동적 미디어 이미지로 전환하기 위한 제작 원리이다.

실시간 매핑은 TouchDesigner를 통해 구현된다. 입력된 사운드는 강도, 리듬, 주파수, 중단과 같은 청각적 특징으로 분석되고, 이 값은 파티클의 밀도, 방향, 속도와 연결된다. 본 연구는 매핑 알고리즘의 정량적 성능을 검증하는 것이 아니라, 이러한 제작 구조가 도상의 의미 관계를 어떻게 구성하는지를 분석한다. 따라서 TouchDesigner는 비물질적 사운드를 시각적 질서로 변환하는 멀티모달 인터페이스로 이해된다.

그림 1은 세 도상, 사운드 자료, 매핑 방향, CRT 설치 구조가 수직적 재구성의 과정 안에서 어떻게 연결되는지를 요약한 것이다.

Fig. 1.

Comparative structure of icon, sound, and vertical reconstruction

본 연구는 터치디자이너(TouchDesigner) 환경에서 오디오 신호의 청각적 특징을 수만 개의 시각적 입자의 물리적 움직임으로 전이시키는 실시간 멀티모달 매핑 알고리즘을 설계하였다. 시스템은 오디오 분석 및 가공을 담당하는 CHOP(Channel Operator) 영역과 이를 기반으로 3D 지오메트리를 변형 및 렌더링하는 SOP(Surface Operator)/TOP (Texture Operator) 영역의 유기적 데이터 파이프라인으로 구성된다. 구체적인 구현 절차 및 매핑 방식은 다음과 같다.

첫째, 시스템은 대용량 입자의 실시간 처리를 위해 ‘GPU 기반 지오메트리 인스턴싱(GPU-based Geometry Instancing)’ 프레임워크를 기반으로 가동된다. 일반적인 CPU 렌더링 방식은 수만 개의 독립된 점 좌표를 일일이 계산하여 그래픽카드에 매 프레임 다수의 드로우 콜(Draw Call)을 요청하므로 프레임 드롭(Lag)이 발생하여 실시간 인터랙션이 불가능하다. 반면 본 시스템은 비디오 메모리에 단 하나의 원본 입자만을 상주시키고, 원형 3D 도상(다보탑, 교회 첨탑, 자유의 여신상)의 꼭짓점 위치 정보를 담고 있는 SOP 데이터를 CHOP 데이터로 변환하여 GPU의 인스턴스 인덱스 지도로 참조하도록 설계하였다. 이를 통해 CPU의 병목 현상을 차단하고 실시간성을 확보하였다.

둘째, 입력 오디오 신호로부터 형태 변형의 동역학적 소스가 되는 정량적 수치를 추출하는 ‘사운드 데이터 필터링 및 정규화 절차’를 구축하였다. 오디오 파일로부터 인입된 신호는 Audio Stream In CHOP을 거쳐 시스템 내부로 수용된다. 이후 저역대 필터링을 수행하는 Audio Filter CHOP(Low)을 통해 서사의 물리적 타격감을 대변하는 저음역대 진폭 데이터를 분리하고, Audio Filter CHOP(Mid)을 통과시켜 인간의 발화 및 고밀도 성가 음성 중심의 중음역대 진폭 데이터를 실시간 채널로 분리·획득한다. 분리된 각각의 진폭 값은 데이터의 범위와 최댓값이 상이하므로, 시각적 변형 제어에 최적화된 범위(0.0에서 1.0 사이)로 정규화 및 가량 증폭을 수행하기 위해 Math CHOP의 Range 파라미터 연산 프레임워크를 통과하게 된다.

셋째, 가공된 진폭 데이터를 기반으로 도상의 정체성을 보존하며 시각적 해체를 유도하는 ‘노이즈 파라미터 매핑 방식’을 적용하였다. 본 시스템은 시간의 누적값에 의존하여 3D 모델의 고유 꼭짓점 인덱스 구조를 유실시키는 Particle SOP 기반의 시뮬레이션을 배제하고, 수학적 필드로 작동하는 Noise SOP 시스템을 채택하였다. 이는 기존 도상을 구성하는 점들의 개수를 완전히 유지한 상태에서 3D 공간상의 위치 좌표(x, y, z)만을 뒤틀기 위함이다.

실제 매핑 구현 시, Math CHOP을 거쳐 최종 산출된 진폭 데이터는 Noise SOP의 핵심 파라미터인 Amplitude, Period, Roughness에 다이렉트 변수로 연동된다. 오디오 신호가 인입되지 않는 휴지기(Pause) 상태에서는 진폭 값이 0에 수렴하므로 노이즈의 왜곡 변위가 최소화되어 각 도상의 원형 기하학적 구조가 안정적으로 유지된다. 그러나 임계점 이상의 사운드 신호 및 강세(Emphasis)가 입력되는 순간, 변수값이 급격히 상승하며 노이즈 함수 연산에 따른 실시간 정점 재배치가 발생한다. 이 메커니즘을 바탕으로 앞서 표 1에서 정의한 세 가지 도상의 고유한 청각적 특성(목탁 소리의 단발성 타격음, 그레고리안 찬트의 지속적인 잔향, 연설의 발화와 휴지기)이 파이프라인 내에서 각각 유체적 변형, 간헐적 거동이라는 고유의 시각적 지향점(Mapping Direction)으로 나타나게 되었다.

그림 2는 오디오 신호 입력, 대역별 CHOP 필터링 및 정규화, Noise SOP 파라미터 연동, 그리고 GPU 인스턴싱 렌더링으로 이어지는 터치디자이너 내부의 구체적인 매핑 알고리즘을 재현한 것이다.

Fig. 2.

TouchDesigner-based Production Workflow

5. CRT 모니터 설치 구조와 장치로서의 탑

본 작품의 설치 구조에서 CRT 모니터의 수직적 배치는 단순한 하드웨어의 적재를 넘어, 과거의 인터페이스가 지닌 물질성을 통해 고대 공간의 역사적 토포스를 현대의 멀티모달 시스템과 연결하는 매체 고고학적 재발견을 지향한다. 본 연구에 사용된 CRT 디스플레이는 현대의 슬림한 디지털 스크린과 달리 독특한 두께와 물리적 한계를 지닌 아날로그 오브젝트이다. 특히 이 구형 매체가 지닌 4:3의 종횡비와 저해상도 디스플레이 특성, 그리고 물리적으로 발생하는 거친 픽셀의 질감은 최신의 고해상도 비주얼 연산 알고리즘과 충돌하며 시간의 층위를 시각적으로 가시화하는 조형적 장치가 된다.

그러나 이러한 미디어 고고학적 의도가 실제 물리적 공간에서 형태적 왜곡 없이 발현되기 위해서는 CRT 모니터의 외형적 프레임이 만드는 시각적 단절과 렌더링 스케일 간의 정밀한 형상 제어 계획이 필수적이다. CRT 모니터 적재 시 발생하는 전면 테두리의 두께는 화면 내부의 파티클 흐름을 분절시키는 물리적 방해 요소로 작용하기 때문이다. 이를 해결하기 위해 본 작품은 독립된 3대의 CRT 모니터를 완전 수직으로 스태킹하되, 영상의 스케일을 단일 도상으로 길게 늘리는 방식을 배제하고, 각 모니터 1대당 하나의 독립된 도상(하단: 다보탑, 중단: 교회 첨탑, 상단: 자유의 여신상)이 개별적인 스케일 임계값 범위 내에서 독립적으로 구동되도록 형상 프레임을 설계하였다.

또한, 실시간 사운드 진폭의 최대치(1.0) 인입에 따라 노이즈 SOP 변위가 극대화되어 파티클이 확산될 때, 4:3 해상도 경계면에서 입자가 뭉개지거나 깨지는 아날로그적 픽셀 에일리어싱(Aliasing) 현상을 미디어 고고학적인 매체의 흔적으로 적극 수용하였다. 이를 위해 터치디자이너의 최종 출력 해상도를 CRT의 물리적 네이티브 해상도(1024x768)와 일대일로 매칭시켰으며, 입자의 확산 거리가 각 모니터 화면 가로·세로 종횡비의 안전 영역 내부에서 소용돌이치도록 파라미터를 제한함으로써 조형적 안정성을 확보하였다. 결과적으로 하드웨어가 가진 두꺼운 물리성은 과거 매체의 유한한 경계를 명시하는 프레임이 되고, 그 내부에서 깨진 픽셀로 진동하는 현대의 멀티모달 입자들은 과거의 매체를 매개로 탑이라는 수직적 토포스를 실시간으로 재구성하는 구체적인 조형적 형상을 완성하게 된다.

그림 3은 CRT 모니터가 수직적으로 배치되며 설치 장치 자체가 탑의 형식을 구성하는 방식을 보여준다.

Fig. 3.

Installaion view proposal

1. 목탁 소리와 다보탑의 반복적 확산과 수렴

〈진동하는 영매: 탑의 고고학〉에서 다보탑은 목탁 소리와 결합된다. 목탁 소리는 짧은 타격음이 일정한 간격으로 반복되는 청각적 구조를 가지며, 긴 지속음이나 복합적 선율보다 순간적인 강세와 규칙적인 반복을 특징으로 한다. 작품에서는 이러한 청각적 특성이 파티클의 확산과 수렴 운동으로 설정된다. 소리의 강세가 발생할 때 파티클은 도상의 외부로 확산되고, 강세가 지나간 뒤에는 다시 다보탑의 수직적 구조 안으로 응집되는 방식으로 구성된다.

이러한 매핑은 다보탑을 안정된 문화재 이미지로 재현하기보다 반복적으로 진동하는 수행적 도상으로 전환한다. 목탁 소리의 반복적 타격에 따라 도상은 흩어짐과 응집을 반복하며, 고정된 석조 기념비가 아니라 소리에 의해 일시적으로 구성되는 이미지로 나타난다. 이때 확산과 수렴은 단순한 시각 효과가 아니라, 불교적 수행에서 나타나는 반복, 집중, 호흡, 의례의 리듬을 시각적으로 번역하는 방식으로 작동한다.

그림 4의 다보탑 도상의 입자 그래프는 사운드 인입에 따른 이러한 반복적 운동의 구조를 보여준다. 그림 4 도식에서 가로축(x)과 세로축(y)으로 구성된 2차원 공간상에 분산된 빨간색 점들은, 실시간 목탁 소리의 물리적 파형에 동기화되어 고유 위치로부터 이탈한 입자들의 순간 변위 좌표를 표현한 것이다. 오디오 신호를 거친 타격 신호가 임계 피크치에 도달할 때마다, 기존 도상의 완결된 윤곽을 유지하던 정점들은 탑의 중심축으로부터 외곽을 향해 방사형으로 급격히 확산한다. 그림의 외곽을 향해 뻗어 나가는 빨간색 점들의 분포가 바로 소리의 물리적 에너지가 시각적 확산으로 치환된 흔적이다.

Fig. 4.

Particle image of Dabotop

또한 목탁 소리 특유의 짧은 타격음은 감쇠 시간이 매우 빠르기 때문에, 피크 신호가 사라지는 즉시 Noise SOP 파라미터 값이 0으로 급격히 수렴한다. 이에 따라 외곽으로 밀려났던 빨간색 입자들은 도상의 고유 정체성이 완전히 해체되기 직전, 본래 지정되어 있던 고유 원형 인덱스의 3차원 위치 좌표를 향해 대칭적으로 고속 복원된다.

결과적으로 그림 4의 그래프는 사운드의 리듬에 맞춰 중심축으로부터 ‘확산’과 ‘수렴’이 균일한 형태(Uniform Particle Response)를 이루며 목탁 소리에 맞춰 반복적으로 보여주고 있음을 알 수 있다.

2. 그레고리안 찬트와 교회 첨탑의 연속적 상승

두 번째 도상인 교회 첨탑은 중세 기독교의 종교적 울림을 상징하는 그레고리안 찬트(Gregorian Chant) 음원과 매핑된다. 단발적이고 분절적인 타격음을 중심으로 전개되던 목탁 소리와 달리, 그레고리안 찬트는 인간의 목소리가 만들어내는 긴 호흡의 잔향, 지속음, 그리고 여러 성부가 겹쳐지는 다성적 울림의 청각적 구조를 지닌다. 이때 입자는 급격하게 분절되기보다 부드럽게 이동하며, 첨탑의 수직 방향성을 따라 상승하는 움직임을 형성한다.

본 작품은 교회 첨탑의 수직성을 그레고리안 찬트의 청각적 울림과 연결한다. 찬트의 지속음은 파티클의 부드러운 흐름으로, 다성적 울림은 여러 방향으로 퍼지는 선적 운동으로 변환된다. 그 결과 교회 첨탑은 고정된 건축적 형상보다 소리의 잔향에 따라 유동적으로 상승하는 이미지로 나타난다.

그림 5의 교회 첨탑 도상의 입자 그래프는 이러한 사운드의 음향학적 특성이 시각적 연속성으로 전환되는 메커니즘을 구체적으로 증명한다. 가로축(x)과 세로축(y)으로 이루어진 2차원 좌표계 상에서 관찰되는 빨간색 점들은 찬트 사운드에 의해 위치적 변위를 일으킨 정점들의 순간적인 기하학적 분포를 나타낸다. 다보탑의 그래프(그림 4)가 중심축으로부터 사방으로 균일하게 뻗어 나가는 방사형 분포를 보였다면, 그림 5의 빨간색 점들은 첨탑의 수직적 실루엣을 따라 상향(+y 방향)으로 완만하게 흐르며 연기처럼 곡선적 구조를 형성하고 있음을 알 수 있다.

Fig. 5.

Particle image of Church

이러한 시각적 차이가 발생하는 이유는 찬트가 가진 긴 사운드의 잔향 데이터가 누적적이고 중첩으로 작용하기 때문이다. 목탁 소리처럼 신호가 즉각적으로 소멸하지 않고 지속적인 에너지 파동을 유지하기 때문에, 입자들을 순간적으로 튕겨내지 않고 공간 좌표계를 부드럽게 뒤틀며 상방으로 밀어 올리는 움직임을 수행한다. 결과적으로 그림 5에서 도상의 윤곽선을 넘어서 곡선을 그리며 자유롭게 뻗어 나가는 입자들의 곡선적 흐름은, 알고리즘 내부에서 사운드의 신호 구조에 맞춰 연속성을 획득했음을 알 수 있다.

3. 민주주의 구호와 정치적 도상의 비연속적, 수축, 정지

세 번째 도상인 자유의 여신상(민주주의 도상)은 작가의 구호 녹음 및 게티즈버그 연설 낭독 음원을 편집한 사운드와 매핑된다. 이 오디오 신호는 앞선 목탁 소리의 규칙적·분절적 타격음이나 그레고리안 찬트의 지속적인 선율 구조와는 확연히 다른 특징을 지닌다. 오직 인간의 음성 언어가 가진 발화, 강세, 호흡, 그리고 발화 사이의 필연적인 중단과 음절의 불규칙한 반복이 두드러지는 신호 구조를 띤다. 멀티모달 알고리즘은 이러한 사운드의 역학을 터치디자이너 내부에서 입자의 수축(Contraction), 정지(Stasis)라는 비연속적 움직임으로 변환된다.

그림 6의 자유의 여신상 도상의 입자 그래프는 사운드가 가진 이러한 불연속적 특성을 시각적 구조로 증명한다. 가로축(x)과 세로축(y) 기반의 2차원 공간상에서 관찰되는 빨간색 점들은, 연설 사운드와 동기화되어 고유 정점 위치로부터 변위를 일으킨 입자들의 순간적 좌표 분포이다. 사방으로 뻗어 나가는 다보탑(그림 4)이나 유체처럼 상향 흐름을 만들던 교회 첨탑(그림 5)의 그래프와 대조적으로, 그림 6의 빨간색 점들은 원형 도상의 외곽으로 크게 확산되지 않고 여신상의 특정 구조 내부에 빽빽하게 밀집되어 정체된 분포를 보여준다.

Fig. 6.

Particle image of Democratic iconography

이처럼 입자가 광범위하게 움직이지 않고 국소적으로 뭉쳐 있는 현상은, 연설 사운드의 불연속적인 신호 특성과 밀접하게 인과관계를 맺는다. 집단적 구호나 정치적 발화는 음성이 강하게 터져 나오는 순간을 제외하면, 발화가 멈추는 순간 급격한 음향학적 공백과 긴장 상태를 형성한다. 이 중단과 침묵의 구간에서 진폭 값은 순식간에 0으로 정지하며, 이에 따라 입자의 움직임 또한 즉각적으로 멈추거나 도상의 중심부를 향해 긴장감 있게 수축된다.

결과적으로 그림 6에서 빨간색 점들이 큰 시각적 궤적을 그리지 못하고 일정 구역에 잔류하며 뭉쳐 있는 형상은, 사운드가 인입되지 않는 중단과 침묵의 상태에서 입자들이 운동성을 잃고 일시적으로 정지해 있음을 시각적으로 보여주는 데이터이다. 자유의 여신상 도상의 입자 움직임은 정치적 목소리의 표면화(팽창)와 집단적 긴장의 응축(수축), 그리고 발화 이후 남는 불안정한 침묵(정지)의 모습을 보여주는 구체적인 증거로 작동한다.

4. 파티클 이미지의 진동과 도상의 불안정화

세 사운드와 세 도상의 매핑은 각각 다른 운동성을 형성한다. 목탁 소리는 반복적 확산과 수렴을, 그레고리안 찬트는 연속적 흐름과 상승을, 민주주의 구호는 팽창, 수축, 정지를 유도한다. 이 차이는 각 도상이 지닌 상징적 맥락과 청각 신호의 구조가 서로 대응하면서 만들어진다. 즉 작품에서 사운드는 단순히 이미지에 반응성을 부여하는 요소가 아니라, 도상의 운동 방식과 시각적 성격을 구성하는 원리로 작동한다.

이때 파티클 이미지는 도상의 불안정화를 가능하게 하는 핵심 형식이다. 파티클은 고정된 표면을 만들기보다 점, 선, 빛, 밀도의 집합으로 도상을 구성한다. 따라서 도상은 사운드 입력에 따라 흩어지고 다시 모이며, 형태의 경계가 흔들리는 이미지가 된다. 이러한 방식은 역사적 도상을 완결된 이미지로 복원하지 않고, 소리와 데이터에 의해 계속 변화하는 입자적 구조로 제시한다.

결과적으로 〈진동하는 영매: 탑의 고고학〉에서 사운드-도상 매핑은 세 가지 차원에서 작동한다. 첫째, 사운드는 파티클의 움직임을 변화시키는 입력값으로 기능한다. 둘째, 각 사운드의 청각적 구조는 도상의 상징적 맥락과 결합하여 서로 다른 시각적 운동성을 만든다. 셋째, 이러한 운동성은 수직적 도상을 고정된 이미지가 아니라 유동적이고 불안정한 파티클 구조로 전환한다. 다음 장에서는 이러한 사운드-도상 매핑이 CRT 장치와 결합하면서 형성하는 미디어 고고학적 의미를 논의한다.

1. 고정된 기념비에서 유동적 파티클 도상으로

본 작품에서 수직적 도상의 재구성은 기념비의 존재 방식이 변화하는 데서 출발한다. 다보탑, 교회 첨탑, 민주주의 도상은 각각 다른 시대적 가치를 담고 있지만, 공통적으로 공동체적 지향을 물질적 형식으로 고정해 온 기념비적 도상이다. 이러한 조형물은 돌, 금속, 건축 구조와 같은 견고한 물질성을 바탕으로 공공의 기억과 신념을 안정적으로 가시화한다^[7]. 그러나 〈진동하는 영매: 탑의 고고학〉에서 이 도상들은 고정된 물질적 기념비로 제시되지 않는다. 작품은 이들을 파티클 이미지로 전환함으로써, 안정된 기념비를 진동하고 흔들리는 유동적 도상으로 재구성한다.

파티클은 이 변화의 핵심 형식이다. 파티클 이미지는 도상을 단일한 표면이나 단단한 외곽선으로 제시하지 않고, 점, 선, 빛, 밀도의 집합으로 구성한다. 그 결과 도상은 분산과 응집 사이를 오가며, 완결된 형태와 해체된 상태 사이에 놓인 잠정적 구조가 된다. 이러한 잠정성은 사운드 입력에 따라 구체적인 운동성을 획득하며, 도상을 고정된 상징물의 복제가 아니라 계속 다시 구성되는 과정적 이미지로 전환한다.

이러한 전환은 수직적 도상의 의미도 바꾼다. 기존의 기념비가 영속성과 안정성을 통해 초월성, 권위, 질서를 표현했다면, 본 작품의 파티클 도상은 흔들림과 불안정성 속에서 수직성을 드러낸다. 수직적 구조는 유지되지만, 그것은 더 이상 흔들리지 않는 기념비가 아니라 현재의 사운드와 데이터에 의해 지속적으로 재조립되는 형식으로 제시된다. 따라서 작품은 과거의 도상을 복원하기보다, 그 상징 구조를 유동적 상태로 다시 드러낸다.

2. 과거 도상의 현재적 재활성화

결과적으로 〈진동하는 영매: 탑의 고고학〉은 과거의 수직적 도상을 현재의 미디어 환경 속에서 재활성화하는 작업으로 이해될 수 있다. 여기서 재활성화란 과거의 이미지를 보존하거나 복원하는 것이 아니라, 그것이 다른 매체 조건과 감각 구조 속에서 다시 작동하도록 만드는 것을 의미한다. 다보탑, 교회 첨탑, 민주주의 도상은 작품 안에서 공동체적 안녕, 구원, 자유를 향한 수직적 상상력의 형식으로 다시 읽힌다.

이 과정은 미디어 고고학의 관점에서 중요한 함의를 가진다. 미디어 고고학은 과거의 매체와 이미지가 단절된 유산이 아니라, 현재의 매체 환경 속에서 반복과 변형을 거쳐 다시 나타나는 구조임을 강조한다^[3][4]. 본 작품은 이러한 관점을 작품의 제작 구조 안에서 구체화한다. 과거의 기념비적 도상은 디지털 기술 속에서 해체되고, 브라운관이라는 오래된 장치 위에서 다시 구성되며, 사운드라는 시간적 신호에 의해 지속적으로 변화한다. 즉 과거는 현재 속에서 단순히 재현되는 것이 아니라, 다른 물질적 조건과 감각적 질서를 통해 새롭게 조직된다.

나아가 이러한 재활성화는 수직적 도상의 의미를 현재화한다. 작품은 공동체가 추구해 온 평안과 해방, 질서와 자유의 상징 구조를 호출하지만, 그것을 안정된 신념의 기호로 제시하지 않는다. 오히려 그 구조가 소리와 데이터 속에서 흔들리고, 잠정적으로 구성되며, 다시 해체되는 과정을 보여준다. 이를 통해 공동체적 안녕과 구원에 대한 상상은 박제된 역사적 유산이 아니라, 오늘의 매체 환경 속에서도 재조정되고 재해석될 수 있는 감각적 과제로 제시된다.

요컨대 본 작품에서 도상, CRT 장치, 사운드, 파티클은 각각 분리된 요소가 아니라 하나의 미디어 고고학적 구조 안에서 함께 작동한다. 도상은 역사적 상징의 층위를 제공하고, CRT 장치는 과거 매체의 물질성을 현재로 호출하며, 사운드는 시간적 운동의 조건을 제공하고, 파티클은 이러한 관계를 유동적 이미지로 가시화한다. 이 결합을 통해 수직적 도상은 고정된 기념비가 아니라 현재의 매체 조건 속에서 재구성되는 이미지로 제시된다.