미디어 창작을 위한 스톡 비디오 아카이브에서의 검색 지능화 설계 및 구현

Ⅰ. 서 론

방송매체 이용행태의 진화로, 2030 세대를 넘어 이제는 50대 이용자까지 스마트폰을 가장 중요한 서비스 디바이스로 인식하고 있으며, 이들은 스마트폰에서 사용 가능한 OTT(Over The Top) 앱을 통해 동영상 콘텐츠를 시청하고 있다^[1]. 가장 많이 사용하는 OTT 앱은 유튜브(66.1%)이며, 다음으로 넷플릭스(31.5%), 티빙(7.8%), 웨이브(6.1%), 쿠팡플레이(5.2%) 등의 순이다^[1]. 유튜브의 이용 활성화는 1인 미디어라는 새로운 키워드를 생성했을 뿐 아니라, 광고 수익의 배분으로 인해 창작자 1인이 미디어의 창작자, 중개자, 소비자의 3가지 역할을 거부감없이 동시에 수행하는 트렌드를 만들었다^[2]. 창작자의 양산은 다양한 주제의 콘텐츠가 생성되게 되며, 창작을 위한 더욱 많은 소재 콘텐츠의 발굴과 생성형 AI(Artificial Intelligence) 기술 사용의 확대로 이어지고 있다.

KBS(한국방송공사)는 이러한 전국민적 요구에 부응하기 위해 2022년 3월, 전 국민 대상으로 콘텐츠의 자유로운 활용이 가능한 무료 콘텐츠 클립 공개 서비스를 오픈하였다. ‘KBS 바다’라고 명명한 서비스는 콘텐츠 제작, 학습, 교육, 연구에 짧은 고품질 소재 콘텐츠를 활용할 수 있도록 하는 오픈 스톡 서비스이다^[4]. 이 외에도 한국방송공사에는 방송 제작을 위한 다양한 콘텐츠를 제공하며, 방송 유산으로서의 콘텐츠 가치를 보존하고 극대화하는 목표를 가지고 ‘KBS 비디오 아카이브 시스템’(이후 ‘KBS 비디오 아카이브’ 혹은 ‘비디오 아카이브’로 표시)을 구축하여 운영하고 있다. 2000년대에는 테이프 등의 형태로 방송 콘텐츠를 보관하고 이를 디지털로 검색하는 시스템을 개발하여 운영하였으며, 2011년 본격적인 디지털 시대를 맞아 콘텐츠를 모두 디지털화하고, 검색 기능 등을 일원화하여 관리하는 시스템을 도입하고 현재까지 발전시켜 오고 있다. KBS 비디오 아카이브 활용을 극대화하기 위한 검색 기능의 근간에는 KBS에서 제정한 메타데이터 표준화를 준수하는 메타데이터 전문 인력의 메타데이터 입력 작업이 중요한 역할을 하고 있다^[3]. 이미 방송된 방송프로그램을 검색하기 위해 프로그램명, 방송시간, 부제명, 출연자 등 방송사에서 사용하는 방송프로그램 제작 정보와 편성 정보를 준용하여 표준화된 메타데이터 표준과 분류체계 표준을 검색에 활용하는 것은 방대한 콘텐츠에 일원화된 검색 방법을 제공할 수 있어 원하는 콘텐츠를 검색하는데 효과적이다. 그러나 ‘KBS 바다’와 같이 방송프로그램의 소재로 사용된 소재 콘텐츠를 검색하는 것은 정제된 제작 정보와 편성 정보를 사용할 수 없어, 콘텐츠 내용에 해당하는 키워드를 일일이 수작업으로 입력하여 제공하는 작업이 선행되어야 한다.

‘KBS 바다’와 같은 창작의 소재를 제공하는 스톡 비디오 아카이브의 서비스에는 다수의 창작자가 활용할 수 있는 방대한 콘텐츠들을 보유해야 하고, 적절한 콘텐츠를 찾아내는 노력을 줄여주는 검색 서비스가 제공되어야 한다. 본 논문에서는 스톡 비디오 아카이브와 같이 정제된 정보를 제공하기 어려운 서비스에서 원하는 비디오 부분을 검색하여 활용하게 해주는 시스템의 설계 방안을 제안하고, 구현 결과를 제시한다. 지능형 검색은 주로 문장의 분석과 인공지능을 이용한 이해 기술을 바탕으로 상세한 검색 결과를 제공하는 방법이 주로 사용되고 있다^[16]. 본 논문에서 제안하는 시스템에서는 텍스트가 제공되지 않는, 분량과 내용 측면에서 방대한 스톡 비디오 아카이브의 특성을 고려하여, 인공지능 기반의 지능화 방법으로 콘텐츠의 입수부터 서비스까지 최대한 자동화하고, 검색의 결과는 세부 검색 기능을 향상하는 것을 목표로 하였으며, 이를 위해 해결해야 하는 설계 이슈를 고찰하였다.

본 논문의 구성은 다음과 같다. 2장에서는 본 논문의 대상 환경인 스톡 비디오 아카이브의 대표적인 사례를 조사하고, 사례별 콘텐츠 검색 방법을 분석한다. 3장에서는 본 논문에서 제안하는 방식인 스톡 비디오 아카이브의 검색 지능화를 위한 요구사항을 분석하고, 4장에서는 요구사항을 만족하는 설계 방안을 제안한다. 5장에서는 제안한 설계 방안을 구현한 결과를 제시하고, 6장에서는 향후 연구 방향을 기술한다.

Ⅱ. 스톡 비디오 아카이브의 검색 방법 연구

스톡 아카이브 서비스는 미디어 작업에 소요되는 창작자들의 시간과 노력을 줄여주기 위해 고해상도, 로열티프리의 동영상, 이미지, 음악 등을 제공하는 서비스이다. 서비스 제공자는 창작자들이 일반적으로 요구하는 시장성이 높은 콘텐츠를 만들어 제공하는 것을 목표로 하며, 작업에 집중할 수 있도록 적절한 키워드를 제공하여 손쉽게 콘텐츠를 검색할 수 있도록 해야 한다. 대표 스톡 서비스에서는 효과적인 검색을 위해 다양한 가이드라인을 제공하고 있으며, 검색 제공 방법에 있어서도 미디어 분석 및 인공지능 기술을 활용한 검색 방안도 연구되고 있다.

잘 알려진 스톡 이미지 서비스로는 Shutterstock^[5], Getty Images^[6], Adobe Stock^[7], Unsplash^[8], Pexels^[9] 등이 있다. 이 서비스들은 높은 품질과 다양한 이미지, 비디오, 음악 들을 제공하는 서비스로 알려져 있으며, 검색 기능으로는 카테고리 검색과 인기 키워드 검색을 주로 제공하고 있다. Adobe Stock은 이미지나 비디오 제공에 그치지 않고, Adobe 자사의 Photoshop이나 Illustrator같은 전문적인 창작 도구와 연계하여 사용하는 기능을 제공하고 있다. 이 서비스들은 콘텐츠 품질, 가격/라이선스 정책 등에 따라 가격과 사용 조건을 다르게 제공하고 있다. 스톡 서비스들은 최근 1인 미디어와 디지털 미디어 산업의 확장으로 블로거, 디자이너, 창작자들에 의해 활용이 더욱 확대되고 있다.

1. 검색을 위한 키워드 제공 방법 사례 분석

Adobe Stock의 경우 스톡의 창작자들이 원하는 콘텐츠를 손쉽게 검색하여 시장성을 높이기 위해 스톡의 업로더들이 입력해야 하는 제목, 키워드 입력 가이드라인^[10]과 적절한 범주를 선택하는 가이드라인^[11]을 다음과 같이 상세히 안내하고 있다. 먼저, Adobe Stock에서는 제목을 콘텐츠에 대한 짧고 사실적인 설명이라고 정의하고, 창작자들의 구매 결정에 도움이 되는 제목을 작성하기 위한 참고 권장 사항과 금기사항을 안내하고 있다. 주요 사항으로는 제목의 관련성과 설명성을 유지하고, 특정 제품명이나 사람 이름은 포함하지 않고, 간결하게 작성하는 것이다. (제목 사례 : “미국 오리건주 포틀랜드의 한 해변에서 잭 러셀 테리어와 캐치볼을 하고 있는 젊은 여성”) 또한, 키워드를 작성하는 데에는 일관된 전략이 있어야 하며, 다음 물음에 대한 답의 정보를 추가하는 것을 일관된 전략으로 권장하고 있다. 요약하면, Adobe Stock의 가이드라인에서 제시하는 키워드로 권장하는 내용은 피사체, 동작, 피사체의 설정, 중요 구성 요소 등이며, 그 외에 키워드를 최대한 분리하고, 위치, 감정, 분위기, 사용자수, 설정, 시점, 인구통계학정보 등도 포함하는 것을 권장한다^[10].

• 1) 피사체는 누구/무엇입니까?
• 2) 어떤 동작이 묘사되고 있습니까?
• 3) 피사체의 설정은 무엇입니까?
• 4) 콘텐츠에 중요한 구성 요소나 기술적 측면이 존재합니까? 사례: “AI”, “제너러티브 아트”
• 5) 에셋에 구체적이고 고유한 세부 사항을 강조하는 단어가 있습니까?

창작자들은 카테고리를 사용하여 콘텐츠를 검색하거나 범위를 좁히고 있다. 분류체계를 활용하여 검색의 범위를 줄이는 방법은 방대한 분량의 콘텐츠가 제공되는 서비스에서 검색 영역을 줄일 수 있는 대표적인 방법이다. 분류의 기준은 대표적인 스톡 서비스^[5]~[9]의 용도에 맞게 정해진 분류를 사용해야 하며, 컨트리뷰터 포털에서 파일을 업로드할 때, 시스템이 콘텐츠에 대한 카테고리를 자동으로 제안하기도 한다^[11]. 카테고리 검색은 사용자와 서비스 제공자 간 분류체계에 대한 공유가 필요하고, 비디오와 같이 하나의 콘텐츠 파일에서 특정 장면이나 일부분만을 창작에 사용하고자 할 때, 특정 부분을 찾아내기 위해 결국 하나의 콘텐츠 파일을 모두 시청해 확인해야 하는 작업이 수반되어, 추가적인 노력이 필요하다는 단점이 있다. 또한 입수된 비디오를 어느 카테고리에 할당해야 할지는 분류체계와 콘텐츠 내용의 매칭 작업에 숙련된 전문가의 수작업이 필요하다. 따라서, 방대한 종류의 콘텐츠가 제공되는 서비스일수록 카테고리 검색은 키워드 검색과 함께 사용하는 것이 일반적이다. 실례로, 넷플릭스의 경우, 전문가의 그룹에 의해 수 만개의 장르를 우선 사용하여 정리하고, 추천 알고리즘에 의해 사용자가 많이 사용하는 장르를 할당하여 보여주는 하이브리드 방식을 사용함으로써 ‘90초 윈도’라는 혁신적인 방법으로 사업을 확장하였다^[2].

스톡 비디오 서비스에서 사용할 분류체계를 고찰하기 위해, 대표적인 스톡 서비스 Shutterstock^[5], Gettyimages^[6], Adobe Stock^[7], Unsplash^[8], Pexels^[9]에서 사용하는 카테고리 종류를 분석하였다. 대표 스톡 서비스는 이미 많은 창작자를 사용자로 확보하고 있으며, 다수의 창작자들이 적응한 분류체계를 가지고 있다. 따라서 공통의 분류 기준을 고찰하고, 이를 제안하는 설계에 활용하고자 하였다. 고찰 결과는 그림 1로 정리하였으며, 대표 스톡 서비스에서 사용하는 카테고리명을 나열하고, 해당 카테고리명이 서비스에 공통적으로 많이 나타날수록 진하게 표시하였다. 분석 결과, 80%이상의 카테고리명이 대부분의 스톡 서비스에서 공통적으로 사용됨을 알 수 있다.

Fig. 1.

Comparison Results of Category Name Similarity in Representative Stock Video Services

2. 검색 사용자 인터페이스 사례 분석

스톡 서비스에서 검색 편의성을 제공하기 위한 사용자 인터페이스도 고찰하였다. Shutterstock^[5]에서는 대표이미지와 카테고리명을 전면에 배치하고, 키워드 검색은 간단한 키워드 입력 창을 한 번에 볼 수 있도록 배치하는 모습을 보인다. Gettyimages^[6]에서는 키워드 검색을 메인 페이지에 단독으로 배치하여 사용자가 검색을 위주로 사용하게 유도하고, 카테고리 검색의 경우는 별도의 페이지를 구성하여, 전문가의 컬렉션 주제로 분류하여 검색하게 서비스하고 있다. (그림 2 참조)

Fig. 2.

Case Studies of Search Interfaces in Representative Stock Video Services

Ⅲ. 스톡 비디오 아카이브의 검색 지능화 요구사항 분석

스톡 아카이브 서비스에서는 창작자가 손쉽게 원하는 콘텐츠를 검색할 수 있도록, 콘텐츠가 업로드될 때부터 콘텐츠의 내용을 파악할 수 있는 키워드를 입력하고 있다. 스톡 아카이브의 지속적인 확장을 위해서는 시간과 비용이 지속적으로 투입되는 수작업보다는 최대한 프로세스를 자동화하고, 인공지능의 활용으로 지능적 검색 환경을 제공하는 것이 효율적이다. 특히, 인공지능 기술은 초고화질 실감형 콘텐츠 획득·제작 및 편집, 대용량 미디어 압축 성능 향상을 위한 부호화, 전송 대역의 효율 향상을 위한 미디어 전송뿐만 아니라 이용자의 미디어 이용행태와 연령별, 지역별, 시간대별 이용 패턴을 자동으로 분석하여 최적의 미디어 생산과 소비가 이루어질 수 있도록 하는 유통과 소비 영역까지 콘텐츠 생성부터 소비에 이르는 거의 모든 영역에서 활용되고 있다^[12]. 이러한 미디어 분야의 인공지능 기술 활용 근간을 마련하는 미디어 지능화는 ICT(Information and Communications Technology) 핵심기술과 융합을 통해 대용량의 수집·저장된 데이터(Data)를 분석하여 의미 있는 정보(Information)를 생성하고, 생성된 정보를 효과적으로 사용자에게 전달(Media)하는 D-I-M(Data-Information-Media)의 지식 가치사슬을 완성하는 지능화 시대의 핵심 인프라로 정의된다^[12]. 본 논문에서는 미디어 지능화 상에서 구현된 스톡 아카이브의 방대한 콘텐츠 검색을 위해 전문 인력이 판단하거나 정보를 입력해야 하는 과정을 최대한 자동화하여 검색 기능을 제공하는 것을 ‘검색 지능화’라고 정의한다. 본 장에서는 검색 지능화의 대상 작업을 구체화하기 위해 검색 요구사항을 분석하였다. 요구사항을 수집하기 위하여 사용자 및 운영자의 주관적 요구사항과 검색 로그 등 통계자료에 근거한 객관적 요구사항을 모두 분석하였다^[13].

2. 검색 지능화 객관적 요구사항 분석

통계자료를 통한 객관적 분석은 서로 다른 기간에 대해 KBS 비디오 아카이브에서 사용한 키워드의 종류를 분석하여, 자동추출 가능한 키워드 대상과 해당 키워드를 검색 지능화로 제공할 시 검색 가능성을 분석하였다. 먼저. KBS 비디오 아카이브에서 1주간 (2021.5.31. ~ 2021.6.6.) 사용된 검색 키워드 총 5.000여건 중 1,000여건을 대상으로 분석하였다. 대상 검색 키워드의 사전적 의미와 형식에 의해 분류해 보면, 표 1과 같다. 검색 키워드에는 고유명사가 많이 사용되었는데, 여기에는 인물명(주요 인사, 출연자명, 가수명, 그룹명 등)과 특정 지역명(국가, 도시, 자연지명 등), 랜드마크명, 이벤트명 등이 포함되었다. 고유명사는 보통명사처럼 복수의 키워드들을 조합하거나 상황에 따라 의미가 다르게 인식되지 않고, 검색 대상을 명확히 지칭할 수 있어 키워드 기반의 검색에 매우 효과적이다. 그러나 본 논문의 대상인 스톡 아카이브에는 고유명사의 정보를 포함하지 않으므로 사용이 제한된다. 따라서 KBS 비디오 아카이브의 보통명사 키워드 활용은 표 1에서 보듯이 ‘주제’에 해당하는 사례로 고찰되었다. 보통명사의 경우에는 검색하고자 하는 콘텐츠의 주제 내용을 입력하는 경우가 다수였으며, 사물이나 카메라 기법 등 매우 다양한 내용으로 입력되었다. 또한, 보통명사의 경우에는 고유명사를 대상으로 하여 콘텐츠의 내용이나 형식을 더욱 특정하기 위해 고유명사와 같이 검색 키워드로 병기하여 검색 의도를 명확히 하는 경우가 약 30%로 나타났다. 즉, 일반 비디오 아카이브의 경우, 고유명사를 제외하면 검색 요청의 약 40%정도만 검색 가능하나, 스톡 비디오 아카이브의 경우에는 주로 ‘주제’에 해당하는 보통명사 키워드 위주로 검색하게 되므로 ‘주제’에 포함되는 키워드 종류에 대한 추가 고찰이 필요하다^[13].

Table 1.

Analysis of Real-World Usage Cases of Search Keywords

다음 분석으로, KBS 비디오 아카이브에서 1년간(2022. 7.1.~2023.6.31.) 사용된 키워드 중 프로그램명과 같이 방송 정보를 사용한 키워드는 제외하고, 많이 사용된 상위 30개 키워드의 리스트를 분석하였다. (표 2 참조) 표 2의 상위 키워드 사례를 분석하면, 특정 인물명, 국가명, 위치명, 랜드마크 등 고유명사를 제외하면, 주제(사물, 촬영기법, 배경, 기상현상, 행위 등 포함), 내용 장르, 이벤트 등으로 구성됨을 알 수 있다.

Table 2.

Search Keyword Frequency Ranking

KBS 비디오 아카이브의 검색 키워드 분석 결과, 이용자 및 운영자들은 검색 방법에 있어 검색 키워드 입력에 의한 방법을 가장 기본적인 방법으로 인식하고 있어, 키워드 기반의 검색 편의 기능을 추가하는 요구사항이 많았다. 검색 키워드는 프로그램명 24.5%, 고유명사가 29.5%를 차지해 검색 대상을 단독으로 특정할 수 있는 키워드 위주로 약 55% 정도의 검색이 이루어졌다. 고유명사의 경우는 인물명, 지역명, 이벤트명, 랜드마크명의 순으로 많이 사용되었는데, 이는 인공지능 기술을 이용해 속성을 추출할 경우도 많이 사용되는 고유 명사 위주로 추출하면 방대한 분량의 콘텐츠 검색에 도움을 줄 수 있다는 것을 의미한다. 그러나, 스톡 아카이브의 경우 특정 인물, 지역 등은 포함하지 않고 있어, 이를 제외한 일반 아카이브의 경우 검색의 40%를 차지하는 보통명사 위주의 검색 키워드를 심층 분석하였다. 보통명사를 검색 키워드로 사용하는 경우, 내용의 주제와 관련된 사물, 촬영기법, 배경, 기상현상, 행위 등으로 구성된 경우가 대부분인 것으로 분석되었다.

결국, 아카이브 운영자의 요구사항과 일반 아카이브의 키워드 현황을 분석하였을 때, 스톡 아카이브에서 사용 가능한 키워드로는 사물, 촬영기법, 배경, 기상현상, 행위, 내용장르, 이벤트 등이 가능하며, 이는 검색 지능화에서 자동 추출해야하는 검색 키워드의 대상이 됨을 알 수 있다. 또한, 아카이브 운영자의 요구사항에서 사물, 맥락, 촬영기법, 배경·풍경 및 기상현상 등의 검색 키워드 활용 방안에 대해 고찰할 수 있었다.

Ⅳ. 제안하는 검색 지능화 설계

2장 관련 연구에서, 스톡 아카이브의 검색을 위해서는 대표 스톡 아카이브에서 주로 사용되는 카테고리 검색과 키워드 검색을 고찰하고, 카테고리 검색과 키워드 검색의 병행 사용이 효과적임과 창작자들이 가장 적응한 대표 카테고리명을 도출하였다. 3장에서는 KBS 비디오 아카이브의 주관적, 객관적 요구사항 분석을 통해 검색 키워드 위주로 분석함으로써, 스톡 비디오 아카이브의 환경에서 운영자의 요구와 기존의 검색을 보완할 수 있는 검색 지능화 요구사항을 세부 분석하였다. 그 결과, 스톡 아카이브에서 활용가능하고, 인공지능 기술로 자동추출 가능한 검색 키워드의 종류를 도출하였다. 또한, 해당 검색 키워드의 활용 방안에 대해서도 고찰하였다.

본 논문에서는 2장, 3장의 분석 결과를 기반으로, 그림 3과 같이 일반 비디오 아카이브 검색 시스템과 비교하여 스톡 비디오 아카이브 대상 검색 지능화 시스템의 흐름도를 설계하였다. 제안하는 검색 지능화 시스템은 키워드 검색의 성능을 향상시킬 수 있는 2장에서 고찰한 지능화 방법 중 스톡 아카이브에서 사용 가능한 상세 키워드를 추출하는 시각적 인식 및 분석, 태깅 및 메타데이터 상세화 방법을 사용하였다. 이를 위해, 검색 지능화에는 미디어 지능화 단계가 추가되는데, 미디어 지능화는 1) 지능적 미디어 속성 추출, 2) 지능적 미디어 속성과 검색 키워드 매핑, 3) 지능적 미디어 속성 세부 검색 인터페이스 단계로 이루어지며, 이 과정이 완료되면 검색 지능화를 위한 정보 준비가 완료된다. 본 논문에서 기술한 지능적 미디어 속성은 관련 연구에서 정의한 지능적 미디어 속성을 그대로 사용하고 있으며, 검색 지능화를 위해서는 지능적 미디어 속성이 인공지능 등의 기술로 추출되어야 하고, 이는 콘텐츠 해석에 근거한 핵심 구성 요소 및 맥락의 추출이 된다^[14]. 또한, 미디어 콘텐츠의 시계열 속성의 메타데이터 표현을 활용한 지능형 검색 인터페이스의 제공은 검색의 정확도와 성능을 높일 수 있다^[15].

Fig. 3.

The Proposed Stock Video Archive Search Intelligence System

관련 연구에서는, 미디어의 내용과 관련된 의미있는 정보를 추출하는 과정을 1) 미디어 콘텐츠 메타데이터 자동 생성 기술, 2) 미디어 내용기반 검색 기술 등 다양한 용어로 사용되고 있다고 기술하고, 해당 연구에서는 ‘지능적 미디어 속성’을 AI가 콘텐츠 내용의 해석을 통해 추출한 의미있는 정보로 정의한다. 콘텐츠 메타데이터 자동 생성 플랫폼은 콘텐츠의 속성과 맥락을 지능적으로 해석하기 위한 인공지능 학습데이터 구축, 콘텐츠를 해석하여 콘텐츠의 핵심 구성 요소 및 맥락의 요약 추출, 미디어 콘텐츠의 시계열 속성의 메타데이터 표현, 메타데이터를 용이하게 공유·활용할 수 있는 데이터 프라이버시형 메타데이터 인코딩 및 디코딩, 신뢰할 수 있는 미디어·콘텐츠 생산/유통/소비 환경 제공을 위한 미디어 트러스트 메타데이터 확장 기술로 구성된다^[14].

[15]의 연구에서는, 인공지능 기술로 미디어 콘텐츠 내재 구성요소 추출을 통해 스토리 맥락을 분석하여 제공하고, 지능적 미디어 속성을 내재 구성요소와 스토리 맥락으로 구성하였다. 콘텐츠의 내재 구성요소로는 샷/장면 경계와 키프레임, 객체, 장소, 시간, 배경음, 행위, 이벤트, 자막 등이 있다. 스토리 맥락을 표현하기 위해서는 시맨틱 장면을 세그멘테이션하고, 내재 구성요소를 기반으로 시맨틱 표현의 구성요소인 인물/성별 검출, 정적 관계 추출, 감정 인식, 장면 토픽 추출, 상호 참조 인식 등의 내재 구성요소 간 시간에 따른 관계 및 상태 변화 정보를 추출한다.

지능적 미디어 속성을 내재 구성요소와 스토리 맥락으로 구분했을 때, 3장에서 도출한 요구되는 자동추출 검색 키워드와 매핑하면 표 3과 같다. 스톡 비디오 아카이브에서 추출하기 어려운 배경음, 자막, 특정 인물, 감정 등의 지능적 미디어 속성을 제외하고, 모든 속성들이 요구되는 검색 키워드의 범위에 해당하였다. 따라서 [15]의 연구에서 제시한 지능적 미디어 속성의 범위이면, 본 논문에서 분석한 요구사항을 만족하는 검색 지능화 시스템의 설계와 구현이 가능하다. 카테고리명도 3장에서 도출한 대표 스톡 서비스의 카테고리명 빈도 분석 결과, 모든 카테고리가 공통적으로 나타나므로, 해당 범위 내 카테고리면 창작자들이 적응한 카테고리로 모두 사용 가능함을 알 수 있다.

Table 3.

Mapping of Intelligent Media Attributes and Required Search Keywords in Stock Video Archives

본 논문에서 제안하는 시스템에서는 카테고리 검색과 키워드 검색 지능화를 위한 지능적 미디어 속성의 범위를 전술한 관련 연구에서 제시한 범위로 설계하였다. 검색 지능화의 요구사항 중 하나인 시스템 자동화는 그림 3(b)에서 도시한 시스템 흐름도에서 각 단계에서 요구되는 자동화를 실현하면 가능하다. 단계별 자동화 기능은 그림 4에서 나열하였다.

Fig. 4.

Automation of the Intelligent Search System

• 1) 파일 입수와 인공지능 추출과의 API 자동화 연계
• 2) 지능적 미디어 속성과 검색 키워드 매핑 자동화
• 3) 시간 스케줄에 따른 지능적 미디어 속성 배치
• 4) 지능적 속성을 활용한 세부 검색 기능 추가

마지막으로, 스톡 비디오 아카이브에서는 원하는 장면까지도 손쉽게 검색하는 요구사항이 파악되었으며, 이를 위한 검색 지능화 사용자 인터페이스 구조화 단계도 필요하다. 비디오는 스토리 맥락을 구분하는 장면으로 구분할 수 있으며, 비디오를 장면의 집합으로 구조화하고, 장면 단위에 포함된 키워드들을 상세 검색하는 인터페이스로 사용자 인터페이스를 구조화할 수 있다. 또한 시계열 데이터라는 비디오의 특성을 고려하여, 시간에 매핑된 키워드들을 타임라인 형태의 사용자 인터페이스에 매핑하여 손쉽게 장면 위치를 검색할 수 있도록 설계하였다. 설계한 사용자 인터페이스 구조화는 그림 5와 같다.

Fig. 5.

Timeline-Based Video Structured Search User Interface

Ⅴ. 검색 지능화 시스템 구현

본 논문에서는 4장에서 제안한 검색 지능화 설계 결과를 구현하여 검색 지능화 및 자동화 설계의 유효성을 검증하였다. 구현 환경은 JAVA 8이상, Gradle 6.9이상의 버전을 사용하고, Spring Boot을 이용하여 설정과 모듈을 쉽게 구성하고 관리할 수 있도록 하였으며, MySQL 8.0.30 이상의 버전 적용으로 JSON Object를 활용한 정형, 비정형 메타데이터의 구조적 효율성을 향상시켰다. 소스코드나 개발이슈는 GitLab으로 관리하였고, GitLab과 Jenkins를 활용하여 어플리케이션 자동배포 환경을 구현하였다. 지능적 미디어 속성 플랫폼은 ETRI(전자통신연구소)에서 제공한 지능적 미디어 속성 플랫폼을 사용하였다^[15]. 지능적 미디어 속성 플랫폼과 검색어 매칭 단계는 API(Application Programming Interface) 및 공유 스토리지 방식으로 연동 가능하므로, 지능적 미디어 속성 플랫폼은 AWS, 네이버 등에서 제공한 4장에서 기술한 메타데이터 자동추출 플랫폼 기능을 갖춘 상용 서비스의 사용이 모두 가능하다. 본 구현에서는 공유 스토리지 방식으로 ETRI의 지능적 미디어 속성 플랫폼을 연동 개발하였고, 각 자동화의 단계는 스케줄링 방식을 사용하여 자동화하였다. 구현한 시스템의 관리자 인터페이스는 그림 6과 같으며, 연동 스케줄링 설정과, 동영상 전달과 지능적 미디어 속성 추출의 결과를 확인할 수 있다. 추출된 결과 사례를 보면, 표 4와 같이 입력된 태그와 비교해 세부적인 장면 구성요소 위주로 생성되고, 검색 키워드로 자동 매핑되어 검색어로 활용 가능한 상태가 된다.

Fig. 6.

Administrator Interface for Intelligent Search

Table 4.

Case of Intelligent Media Property Extraction

Ⅵ. 결론

한국방송공사는 전 국민 대상으로 콘텐츠의 자유로운 활용이 가능한 무료 콘텐츠 클립 공개 서비스 ‘KBS 바다’를 오픈하여 운영하고 있다. 이 서비스는 콘텐츠 제작, 학습, 교육, 연구에 짧은 고품질 소재 콘텐츠를 활용할 수 있도록 하는 오픈 스톡 서비스이다^[4]. 스톡 비디오 아카이브 서비스는 방송사의 일반 비디오 아카이브 서비스와는 달리, 콘텐츠의 형태, 내용, 분량 측면에서 정형화되어 있지 않고 방대하다. 또한, 검색 방법에 있어서 정제된 제작 정보와 편성 정보를 사용할 수 없어, 콘텐츠 내용에 해당하는 키워드를 일일이 수작업으로 입력하여 제공해야 하므로, 원활하고 효용성 있는 서비스를 위해 비용과 노력이 상당하다. 본 논문에서는 스톡 비디오 아카이브와 같이 정제된 정보를 제공하기 어려운 서비스에서 지능화, 자동화된 방식으로 원하는 비디오 부분을 검색하여 활용하게 해주는 시스템의 설계 방안을 제안하고, 구현 결과를 제시한다. 특히, 제안하는 시스템에서는 분량과 내용 측면에서 방대하다는 스톡 비디오 아카이브의 특성과 기존 아카이브 사용자의 적응도를 고려하여, 키워드 기반의 검색 시스템에서 확장된 인공지능 기반의 검색 지능화 방법을 사용하여 콘텐츠의 입수부터 서비스까지 최대한 자동화하고, 검색의 결과는 세부 검색 기능을 향상하는 것을 목표로 하였으며, 이를 위해 해결해야 하는 설계 이슈를 고찰하고, 해결 방안을 설계 및 구현하였다.

본 논문에서는 제안하는 시스템은 대표 스톡 비디오 아카이브의 사례 분석과 방송사 비디오 아카이브 사용자의 요구사항 분석을 통해 창작자들이 적응한 검색 방안을 유지하면서, 콘텐츠 검색의 요구사항을 만족시키는 자동화된 지능화 검색 방식이다. 스톡 비디오 아카이브의 카테고리 및 키워드 분석을 통해 도출한 카테고리와 키워드를 지능적 미디어 속성으로 매핑시킴으로써 검색 지능화의 정보를 자동화하여 생성할 수 있도록 하였다. 또한, 비디오의 구조화 특성과 추출된 지능적 미디어 속성의 시간 정보를 활용하여, 창작자가 원하는 비디오 부분을 효과적으로 검색할 수 있는 검색 사용자 인터페이스도 추가 설계하여 검색을 효용성을 증가시켰다. 설계 내용은 실제 구현을 통해 지능적 미디어 속성 플랫폼과 연동 시, 자동화하여 동작하고, 지능적 검색을 수행함을 검증하였다.

본 논문에서 구현한 시스템은 세부 기능 보완 개발을 거쳐, 일반 창작자들이 시범적으로 사용할 수 있도록 2024년 오픈할 예정이다. 일반 창작자의 사용 설문을 통해 기존 스톡 비디오 아카이브와 비교한 검색 지능화의 주관적 효용성 및 추가 요구사항 등을 분석할 예정이다. 향후, 다양한 영상 추가에 따른 도메인 키워드의 분석과 도메인 추가에 따르는 자동화에 대한 연구와, 2장에서 정리한 검색 지능화의 측면 중 본 논문에서 고찰하지 않는 사용자의 주관적 특성에 기반한 추천 혹은 컨텍스트 검색 등의 연구가 필요하며, 이를 보완하면 더욱 창작자에게 맞춤화된 효용성 높은 스톡 비디오 아카이브가 될 것으로 예상한다.

Acknowledgments

이 논문은 2023년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임 (No.2021-0-00852, 지능적 미디어 속성 추출 및 공유 기술 개발).

References

• “2022 Broadcasting Media Usage Behavior Survey”, Korea Communications Commission (KCC), 2022.
• Robert Kinsell, Manny Payvan, “YouTube Revolution”, The Quest, 2018. [https://doi.org/10.979.116050/5177]
• YS Cho, NK Lee, DJ Choi, JI Suh, TJ Lee, JK Park, HW Lee, HM Kim, “Media and AI Technology: Media Intelligence”, ETRI Electronics and Telecommunications Trends, Vol. 35, No. 5, pp. 92-101, 2020. 10. [https://doi.org/10.22648/ETRI.2020.J.350508]
• KBS BADA, http://bada.kbs.co.kr, (accessed Dec. 26, 2023)
• ShutterStock, https://www.shutterstock.com, (accessed Dec. 26, 2023)
• Getty Images, https://www.gettyimagesbank.com, (accessed Dec. 26, 2023)
• Adobe Stock, https://stock.adobe.com, (accessed Dec. 26, 2023)
• Unsplash, https://unsplash.com, (accessed Dec. 26, 2023)
• Pexels, https://www.pexels.com, (accessed Dec. 26, 2023)
• Title and keyword tips, https://helpx.adobe.com/stock/contributor/help/titles-and-keyword.html, (accessed Dec. 26, 2023)
• Choose the right category, https://helpx.adobe.com/stock/contributor/help/categories.html, (accessed Dec. 26, 2023)
• PS Huh, WH Seok, “Defining the Role of Media in the Era of Intelligence,” ETRI Insight Report, 2019. [https://doi.org/10.22648/ETRI.2019.B.000061]
• Byunghee Jung, Wan, Park, Yunseong, Lee, Hajoo, Lee, and Sansung Kim, “Analysis of Keyword-based Content Search Service Requirements in Video Archive for Media Creation,” Conference Proceedings of the Korea Institute of broadcast and media engineers, Jeju(South Korea), pp.500-502, 2022.6.
• NK Lee, “Devloping Intelligent Media Attributes Extraction and Sharing Technology”, Conference Proceedings of the Korea Institute of broadcast and media engineers, Jeju(South Korea), pp.268-292(25pages), 2022.6.
• JW Son, A Lee, SJ Kim and NK Lee, “Movie Description Model for Media Retrieval Services,” IEEE Trans. on Consumer Electronics, Vol. 69, No. 3, pp 296-307, Aug. 2023
• What is a intelligent search?, https://www.ibm.com/kr-ko/topics/intelligent-search, (accessed Dec. 26, 2023)