ARM NEON 기반 셋톱박스에서의 경량 추천 모델 온디바이스 학습 시스템

Ⅰ. 서 론

Ⅱ. 관련 연구

4. 기존 온디바이스 프레임워크와의 비교

표 1은 기존 온디바이스 AI 프레임워크와 본 연구의 제안 시스템을 STB급 저사양 환경에서의 경량 추천 모델 학습 적합성 관점에서 비교한 결과이다. TFLite(LiteRT)와 ONNX Runtime은 범용 온디바이스 학습을 지원하나, 런타임 오버헤드가 크고 STB급 저사양 환경에 대한 특화 최적화가 부족하다. 특히, 표 7의 TFLite 비교 실험에서 확인되듯이 TFLite는 동일 STB에서 기준 대비 0.62배로 오히려 느린 성능을 보였으며, 바이너리 크기도 16배 증가하였다. 본 시스템은 STB 환경의 ARM NEON SIMD를 직접 활용한 학습·추론 통합 최적화를 제공한다는 점에서 차별화된다.

Table 1.

Comparison of On-Device AI Frameworks

Ⅲ. 시스템 설계

1. 대상 하드웨어 환경 분석

본 연구의 대상 플랫폼은 상용 Android TV STB(K1200UA)로, 주요 하드웨어 사양은 표 2와 같다^[18].

Table 2.

Target STB Hardware Specifications

ARM Cortex-A55는 저전력 고효율 코어로, NEON SIMD 128비트 벡터 레지스터를 지원한다. 총 3GB RAM 중 Android TV OS 및 미들웨어가 약 1.52GB를 점유하므로, AI 학습에 할당 가능한 메모리는 500MB~1GB 수준이다. 팬리스 설계로 CPU 온도가 65°C를 초과하면 DVFS(Dynamic Voltage and Frequency Scaling)에 의한 성능 저하가 발생한다.

2. 시스템 아키텍처

그림 1은 Android TV Framework와 OnDevice AI Framework 간의 연동 구조를 나타내며, 주요 컴포넌트로 Adaptive Resource Manager, Inference Optimizer, On-device Learner가 있다. 데이터 처리 흐름은 DATA → LEARNING → QUANTIZATION → INFERENCE의 순차적 파이프라인을 따른다.

Fig. 1.

STB On-Device Recommendation Framework Architecture

Ⅳ. NEON 최적화 기반 경량 학습 엔진

1. Matrix Factorization 알고리즘

1.1 BPR 손실 함수

본 연구에서는 암시적 피드백 데이터에 적합한 BPR 손실 함수를 사용한다^[19]. BPR 손실 함수는 식 (1)과 같이 정의된다:

$\[ L_{BPR}=-\sum _{\left(u,i,j\right)\in D}\text{ln}\sigma \left(\widehat{x_{ui}}-\widehat{x_{uj}}\right)+\lambda \left({\left.‖{\left.Uvert\right|}^2+‖Vvert\right|}^2\right) \]$

(1)

여기서 $$ \widehat{x_{ui}}=U_u\cdot V_i$$는 사용자 u와 아이템 i의 예측 점수(내적), D는 트리플렛 집합, σ는 시그모이드 함수, λ는 L2 정규화 계수, U와 V는 사용자 및 아이템 임베딩 행렬이다.

1.2 SGD(Stochastic Gradient Descent) 기반 학습 알고리즘

확률적 경사 하강법(SGD)을 사용하여 임베딩을 업데이트한다. 각 트리플렛 (u, i, j)에 대해 식 (2)~(4)와 같이 업데이트한다:

$\[ U_u\leftarrow U_u+\eta \cdot \left(e_{uij}\cdot \left(V_i-V_j\right)-\lambda \cdot U_u\right) \]$

(2)

$\[ V_i\leftarrow V_i+\eta \cdot \left(e_{uij}\cdot U_u-\lambda \cdot V_i\right) \]$

(3)

$\[ V_j\leftarrow V_j+\eta \cdot \left(-e_{uij}\cdot U_u-\lambda \cdot V_j\right) \]$

(4)

여기서 $$ e_{uij}=\sigma \left(\widehat{x_{uj}}-\widehat{x_{ui}}\right)$$이며, η는 학습률로 Step Decay 스케줄링을 적용한다.

1.3 BPR-MF 학습 알고리즘

그림 2는 NEON 최적화가 적용된 BPR-MF 학습 알고리즘의 의사코드를 나타낸다.

Fig. 2.

BPR-MF Training with ARM NEON SIMD Optimization

Ⅴ. INT8 양자화 추론 파이프라인

Ⅵ. 실험 및 평가

1. 실험 환경

1.1 하드웨어 및 소프트웨어

본 연구의 모든 실험은 실제 상용 STB 환경에서 수행되었다. 표 3은 실험에 사용된 하드웨어 및 소프트웨어 환경을 나타낸다.

Table 3.

Experimental Environment

본 실험에서는 추천 시스템 연구에서 널리 사용되는 MovieLens 데이터셋^[21]을 사용하였다. ML-1M은 6,040명의 사용자가 3,706개 영화에 대해 부여한 1,000,209개의 평점으로 구성되며(GroupLens, 2003), ML-10M은 69,878명의 사용자가 10,681개 영화에 대해 부여한 10,000,054개의 평점으로 구성된다(GroupLens, 2009). 표 4는 데이터셋의 통계를 나타낸다.

Table 4.

Dataset Statistics

데이터 전처리 과정에서 암시적 피드백 형태로 변환하였으며, 평점 4.0 이상을 긍정적 상호작용으로 간주하였다. 학습/테스트 분할은 시간순 80:20 비율로 수행하였다.

2. 학습 성능 평가

표 5는 STB에서의 온디바이스 학습 성능 및 메모리 사용량을 나타낸다.

Table 5.

On-Device Training Performance and Memory Usage

ML-1M 데이터셋의 경우 약 12분, ML-10M의 경우 약 55분의 학습 시간이 소요되었다. 이는 STB의 대기 모드 시간에 충분히 수행 가능한 수준이다.

3. 추론 성능 평가

표 6은 다양한 최적화 기법의 추론 및 검색 성능을 비교한 결과이다. 표에서 ‘–’로 표기된 항목은 해당 실험이 다른 단계의 성능을 측정하기 위한 것임을 나타낸다.

Table 6.

Inference and Search Performance Comparison

표 6의 속도 향상(Speedup) 배율은 NEON SIMD를 사용하지 않은 순수 C++ Float32 구현(Float32(base))을 기준(1.00×)으로 측정하였다. INT8 양자화와 NEON SIMD 최적화를 결합한 경우, ML-1M에서 1.83배, ML-10M에서 2.19배의 속도 향상을 달성하였다.

추론 성능 측면에서, INT8+NEON 방식은 ML-1M에서 0.56ms(1.83배), ML-10M에서 1.69ms(2.19배)를 달성하여, INT8 양자화와 NEON SIMD의 결합이 두 데이터셋 모두에서 가장 우수한 추론 성능을 보였다. 검색 성능 측면에서, HNSW는 ML-1M에서 0.30ms(3.80배), ML-10M에서 0.37ms(11.22배)를 달성하였으며, 특히 아이템 수가 약 3배 많은 ML-10M에서 Brute-force 대비 11배 이상의 속도 향상을 보여 대규모 아이템 환경에서의 효용성을 입증하였다.

전체 추천 파이프라인의 End-to-End(E2E) 지연시간은 사용자 임베딩 조회, INT8 양자화 내적 기반 추론, Top-K 검색의 3단계를 포함하며, 측정 시작 지점은 사용자 ID 입력 시점, 종료 지점은 Top-K 추천 결과 반환 시점이다. 측정은 warm-up 10회를 제외한 100회 반복의 평균값으로 산출하였다. E2E 지연시간은 ML-1M에서 0.86ms, ML-10M에서 2.06ms로 실시간 서비스에 적합한 성능을 확인하였다.

3.1 TFLite 프레임워크 비교

동일 STB 환경에서 TFLite를 활용한 배치 MatMul 가속 효과를 비교 검증하였다. 표 7은 동일 모델(1,000 users × 4,867 items, dim=16)에 대한 500회 반복 측정 결과이다.

Table 7.

TFLite Comparison Results (Same STB)

TFLite는 STB 환경에서 기준 대비 0.62배로 오히려 느린 성능을 보였다. 이는 (1) TFLite Interpreter의 API 호출 오버헤드, (2) STB의 32-bit ARM 모드에서 64-bit 최적화 경로 미사용, (3) 임베딩 차원이 작아 TFLite 오버헤드가 연산 시간을 초과, (4) 바이너리 크기 16배 증가(104KB → 1.7MB)에 기인한다. 반면, 제안 시스템의 Batch Sequential 방식은 1.45배 속도 향상을 달성하여 경량 직접 구현의 우수성을 확인하였다.

4. 추천 정확도 평가

4.1 베이스라인 비교

표 8은 제안 방법과 기존 협업 필터링 방법들의 추천 정확도 및 K값에 따른 성능을 비교한 결과이다.

Table 8.

Comprehensive Recommendation Accuracy Comparison (MovieLens 1M)

제안하는 MF-BPR 모델은 모든 평가 지표에서 베이스라인 방법들을 상회하였다. Float32 대비 INT8 양자화로 인한 평균 오차율은 0.1% 미만으로, 추천 정확도에 실질적인 영향이 없음을 확인하였다. 그림 3은 MovieLens 1M 데이터셋의 K=10 조건에서 제안 방법과 베이스라인 방법들의 주요 추천 정확도 지표를 시각적으로 비교한 결과를 보여준다.

Fig. 3.

Recommendation Accuracy Comparison (MovieLens 1M, K=10)

4.2 K값에 따른 성능 변화

표 9는 다양한 K값에 따른 제안 시스템(MF-BPR)의 성능 변화를 나타낸다. 실험은 동일 STB에서 수행하였다. 표 10은 ML-10M 데이터셋에서 동일한 조건으로 측정한 K값별 추천 성능 변화를 나타낸다.

Table 9.

Recommendation Performance by K Value (MovieLens 1M)

Table 10.

Recommendation Performance by K Value (MovieLens 10M)

K값이 증가함에 따라 Precision은 감소하고 Recall과 Hit Rate는 증가하는 전형적인 trade-off 관계를 보인다. NDCG는 K=20에서 11.42%로 가장 높았으며, K값 증가에 따라 순위 품질이 점진적으로 향상됨을 확인하였다. Hit Rate는 K=20에서 63.16%까지 증가하여 더 많은 사용자에게 관련 아이템이 노출됨을 확인하였다. 실용적 관점에서 STB UI의 추천 슬롯 수(일반적으로 5~10개)를 고려하면, K=10이 Precision과 Recall 간 균형점으로 적합하다.

ML-10M에서도 동일한 경향을 확인하였으며, 데이터셋 규모가 약 10배 증가했음에도 Hit Rate@10은 46.88%에서 41.38%로 5.50%p 감소(상대 감소율 11.7%)하는 데 그쳐 성능 하락이 제한적임을 확인하였다.

5. 적응형 리소스 제어 평가

표 11은 적응형 리소스 제어의 동작을 검증하기 위한 2단계 실험 결과를 나타낸다. 적응형 리소스 제어의 기능 및 효과를 검증하기 위해 2단계 실험을 수행하였다. 실험 1에서는 임계값을 의도적으로 낮추어 Pause/Resume 동작을 검증하고, 실험 2에서는 기본 임계값으로 대용량 데이터셋 학습의 안정성을 확인하였다.

Table 11.

Adaptive Resource Control Experiment Results

실험 1에서 온도 임계값(60°C) 초과 시 학습이 자동 중지되어 약 460초간 냉각 후 재개되었으며, Pause 발생에도 Loss가 정상적으로 수렴(0.166)하였다. 실험 2에서는 기본 임계값(65°C/200MB)으로 ML-10M 규모 학습 시에도 Pause 없이 안정적으로 동작하였다. 그림 4는 ML-10M 데이터셋 학습 과정에서의 CPU 온도, 메모리 사용률 및 학습 손실(Loss)의 시계열 변화를 나타낸다.

Fig. 4.

Resource and Loss Changes During ML-10M Training

Ⅶ. 결 론

본 논문에서는 NPU가 없는 저사양 Android TV STB 환경에서 행렬분해 기반 추천 모델의 온디바이스 학습 및 추론 시스템을 제안하고, 상용 STB(K1200UA)에서의 실증을 통해 그 실현 가능성을 검증하였다. 대상 STB는 GPU(Mali-G31)를 탑재하나 임베딩 내적 연산은 GPU 오버헤드 대비 연산량이 작아 ARM NEON SIMD가 사실상 유일한 현실적 가속 방안이다.

본 연구의 핵심 기여는 다음과 같다. 첫째, ARM NEON SIMD와 INT8 양자화를 결합하여 순수 C++ 대비 최대 2.19배의 추론 속도 향상을 달성하였다. 둘째, HNSW 기반 Top-K 검색으로 11.2배 속도 향상과 Recall 100%를 동시에 확보하였다. 셋째, 적응형 리소스 제어를 통해 팬리스 STB의 열 관리 제약 하에서도 안정적인 학습을 실현하였다. 이를 통해 End-to-End 추천 지연시간 0.86ms, Hit Rate@10 46.88%의 성능을 달성하였다.

본 시스템은 사용자 시청 데이터가 서버로 전송되지 않아 프라이버시가 보호되며, 기존 STB에서 소프트웨어 업데이트만으로 적용 가능하다. 다만, MF 기반 접근법의 콜드 스타트 문제와 단일 스레드 SGD의 한계가 존재한다. 또한, 본 연구는 단일 STB 모델(K1200UA, Cortex-A55)에서 검증되었으므로, 향후 Cortex-A73/A76 등 다양한 ARM 코어 기반 디바이스에서의 성능 검증을 통해 일반화 가능성을 확인할 필요가 있다. 향후 메타데이터 임베딩 기반 하이브리드 모델^[22], Federated Learning을 통한 분산 학습, 실제 IPTV 시청 로그를 활용한 현장 검증을 계획하고 있다.

References

• Ministry of Science and ICT, Korea Communications Commission, and KISDI, “2024 Broadcasting Industry Survey Report,” 2024. https://www.kisdi.re.kr/report/view.do?key=m2101113024153&masterId=3934581&arrMasterId=3934581&artId=1812716, (accessed Mar. 11, 2026)
• K. Zou and A. Sun, “A Survey of Real-World Recommender Systems: Challenges, Constraints, and Industrial Perspectives,” arXiv:2509.06002, , 2025. [https://doi.org/10.48550/arXiv.2509.06002]
• Google, “LiteRT (formerly TensorFlow Lite) Documentation,” https://ai.google.dev/edge/litert, (accessed Mar. 11, 2026).
• Apple, “Core ML Documentation,” https://developer.apple.com/documentation/coreml, (accessed Mar. 11, 2026)
• S. Han, H. Mao, and W. J. Dally, “Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding,” *Proceedings of International Conference on Learning Representations (ICLR)*, San Juan, Puerto Rico, 2016. [https://doi.org/10.48550/arXiv.1510.00149]
• B. Jacob et al., “Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference,” *Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)*, Salt Lake City, USA, pp. 2704-2713, June 2018. [https://doi.org/10.1109/CVPR.2018.00286]
• H. B. McMahan et al., “Communication-Efficient Learning of Deep Networks from Decentralized Data,” *Proceedings of International Conference on Artificial Intelligence and Statistics (AISTATS)*, Fort Lauderdale, USA, pp. 1273-1282, April 2017.
• F. Ricci, L. Rokach, and B. Shapira, *Recommender Systems Handbook*, 2nd ed., Springer, New York, pp. 1-35, 2015. [https://doi.org/10.1007/978-0-387-85820-3_1]
• Y. Koren, “The BellKor Solution to the Netflix Grand Prize,” Netflix Prize Documentation, 2009, https://www2.seas.gwu.edu/~simhaweb/champalg/cf/papers/KorenBellKor2009.pdf, (accessed Mar. 11, 2026).
• Y. Hu, Y. Koren, and C. Volinsky, “Collaborative Filtering for Implicit Feedback Datasets,” *Proceedings of IEEE International Conference on Data Mining (ICDM)*, Pisa, Italy, pp. 263-272, December 2008. [https://doi.org/10.1109/ICDM.2008.22]
• E. Kim, S. J. Pyo, and M. Kim, “Automatic Recommendation of (IP)TV Programs Based on a Rank Model Using Collaborative Filtering,” *Journal of Broadcast Engineering*, Vol. 14, No. 2, pp. 238-252, 2009. [https://doi.org/10.5909/JBE.2009.14.2.238]
• S. Oh, Y. Oh, S. Han, and H. J. Kim, “Broadcast Content Recommender System Based on User's Viewing History,” *Journal of Broadcast Engineering*, Vol. 17, No. 1, pp. 129-139, 2012. [https://doi.org/10.5909/JEB.2012.17.1.129]
• X. He, L. Liao, H. Zhang, L. Nie, X. Hu, and T. S. Chua, “Neural Collaborative Filtering,” *Proceedings of International World Wide Web Conference (WWW)*, Perth, Australia, pp. 173-182, April 2017. [https://doi.org/10.1145/3038912.3052569]
• F. Sun et al., “BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer,” *Proceedings of ACM International Conference on Information and Knowledge Management (CIKM)*, Beijing, China, pp. 1441-1450, November 2019. [https://doi.org/10.1145/3357384.3357895]
• ARM, “ARM NEON Programmer's Guide Version 1.0,” 2013, https://developer.arm.com/documentation/den0018/latest, (accessed Mar. 11, 2026).
• S. J. Lee, S. S. Park, and K. S. Chung, “Efficient SIMD Implementation for Accelerating Convolutional Neural Network,” *Proceedings of the 4th International Conference on Communication and Information Processing (ICCIP)*, Qingdao, China, pp. 174-178, November 2018. [https://doi.org/10.1145/3290420.3290444]
• Google, “XNNPACK: High-efficiency Floating-point Neural Network Inference Operators,” GitHub, 2024, https://github.com/google/XNNPACK, (accessed Mar. 11, 2026)
• Amlogic, “S905X4 Datasheet Rev.03,” 2021, https://www.amlogic.com/, (accessed Mar. 11, 2026)
• S. Rendle, C. Freudenthaler, Z. Gantner, and L. Schmidt-Thieme, “BPR: Bayesian Personalized Ranking from Implicit Feedback,” *Proceedings of Conference on Uncertainty in Artificial Intelligence (UAI)*, Montreal, Canada, pp. 452-461, June 2009.
• Y. Malkov and D. Yashunin, “Efficient and Robust Approximate Nearest Neighbor Search Using Hierarchical Navigable Small World Graphs,” *IEEE Transactions on Pattern Analysis and Machine Intelligence*, Vol. 42, No. 4, pp. 824-836, April 2020. [https://doi.org/10.1109/TPAMI.2018.2889473]
• F. M. Harper and J. A. Konstan, “The MovieLens Datasets: History and Context,” *ACM Transactions on Interactive Intelligent Systems (TiiS)*, Vol. 5, No. 4, Article 19, December 2015. [https://doi.org/10.1145/2827872]
• M. Kula, “Metadata Embeddings for User and Item Cold-start Recommendations,” arXiv:1507.08439, , 2015. [https://doi.org/10.48550/arXiv.1507.08439]