DeepFM

💡들어가며

추천 시스템에서 사용자와 아이템 간의 상호작용(Interaction)을 효과적으로, 특히 다양한 차원의 상호작용을 모두 고려할 수 있는 모델이 필요합니다. DeepFM은 이러한 문제를 해결하기 위해 2017년에 제안된 모델로, 낮은 차원의 상호작용(Low-order Interaction)과 높은 차원의 상호작용(High-order Interaction)을 동시에 고려하면서도 복잡한 특성 공학(Feature engineering)이나 사전 학습(Pre-training) 없이도 효과적인 추천이 가능합니다.

---

I. 추천 시스템에서 상호작용의 중요성

추천 시스템에서는 명시적으로 드러나지 않은 잠재적 특성(Implicit feature) 간의 상호작용까지 고려하는 것이 매우 중요합니다. 일상에서 볼 수 있는 예시를 통해 이를 이해해 봅시다:

실생활에서의 상호작용 예시

🕐 시간과 앱 종류의 상호작용(Order-2)

• 식사 시간에 음식 배달 앱을 자주 다운로드하는 패턴
• 이때 '시간'과 '앱 종류' 사이의 2차원 상호작용이 사용자의 클릭률(CTR)을 예측하는 중요한 신호가 됩니다

👨‍👦 성별, 나이, 앱 종류의 상호작용(Order-3)

• 남자 아이들이 슈팅게임과 RPG 게임 앱을 선호하는 패턴
• '성별', '나이', '앱 종류' 사이의 3차원 상호작용이 클릭률에 영향을 미칩니다

이처럼 양질의 추천을 위해서는 낮은 차원부터 높은 차원까지의 다양한 상호작용을 모두 고려해야 합니다. 그러나 모든 상호작용을 인위적으로 모델링하기는 불가능합니다.

데이터에 숨겨진 상호작용

앞서 예시처럼 분명하게 드러나는 상호작용도 있지만, 대부분의 상호작용은 데이터 속에 숨겨져 있습니다. 예를 들어:

🛒 "기저귀를 구매하는 사람은 맥주를 함께 구매한다"라는 유명한 마케팅 사례는 직관적으로 예상하기 어려운 2차원 상호작용입니다.

또한, 특성 간 상호작용은 기하급수적으로 증가하기 때문에 모든 차원의 상호작용을 수작업으로 모델링하는 것은 현실적으로 불가능합니다. 따라서 머신러닝 모델을 사용하여 다양한 차원의 상호작용을 자동으로 포착할 수 있어야 합니다.

기존 모델의 한계

Factorization Machine (FM)

• Order-2부터 Order-n까지의 상호작용을 내적을 통해 모델링 가능
• 이론상으로는 선형적 복잡도를 가지지만, 실제로는 높은 계산 복잡도로 인해 주로 Order-2 모델링만 사용됨

Wide & Deep

• Linear("wide") 모델과 neural network("deep") 모델을 결합한 구조
• 낮은 차원과 높은 차원의 상호작용을 모두 모델링할 수 있음
• 그러나 높은 차원의 상호작용을 모델링하기 위해 직접 선정한 특성을 cross-product transformation하여 새로운 특성으로 추가해야 함
• 전문적인 특성 공학 작업이 필요함

---

II. DeepFM: 두 세계의 장점을 결합한 모델

DeepFM은 앞서 언급한 문제들을 해결하기 위해 설계된 모델로, 다음과 같은 주요 특징을 가집니다:

주요 특징

• 📊 End-to-End로 모든 차원의 상호작용을 모델링할 수 있음
• 🧰 전문적인 특성 공학 작업이 필요하지 않음
• 🔄 FM 컴포넌트와 Deep 컴포넌트가 동일한 입력과 임베딩을 공유함

모델 구조

DeepFM은 두 가지 핵심 컴포넌트로 구성됩니다:

1. FM 컴포넌트 (Low-order): Factorization Machine을 기반으로 함
2. Deep 컴포넌트 (High-order): 심층 신경망을 기반으로 함

이 두 컴포넌트는 같은 입력과 임베딩 레이어를 공유하며, 이는 Wide & Deep 모델과의 중요한 차별점입니다.

1. FM 컴포넌트

FM 컴포넌트는 기존의 Factorization Machine과 유사하게 작동합니다:

• 1차원 상호작용뿐만 아니라, 잠재 특성의 내적을 사용하여 2차원 상호작용도 모델링 가능
• 다음 수식으로 계산됩니다:

$$y_{FM} = <w, x> + \sum_{j_1=1}^{d}\sum_{j_2=j_1+1}^{d}<v_{j_1}, v_{j_2}>x_{j_1}x_{j_2}$$

여기서 $w \in \mathbb{R}^d$, $V_i \in \mathbb{R}^k$입니다.

2. Deep 컴포넌트

Deep 컴포넌트는 피드포워드 신경망을 사용하여 높은 차원의 상호작용을 학습합니다:

• 범주형 특성과 연속형 특성이 혼재된 입력 데이터를 처리
• 모든 특성의 저차원 임베딩을 신경망의 입력으로 활용
• 다양한 길이의 특성 벡터를 동일한 크기의 임베딩 벡터로 변환

특히 중요한 점은 FM 컴포넌트에서 2차원 상호작용을 계산하기 위한 잠재 특성(latent feature)으로 사용되는 가중치 V가 Deep 컴포넌트에서는 임베딩 레이어의 가중치 역할을 한다는 것입니다. 이를 통해 두 컴포넌트가 동일한 임베딩 레이어를 효과적으로 공유할 수 있습니다.

---

III. DeepFM의 효율성과 효과성

효율성 측면

DeepFM은 처리 속도 면에서도 다른 모델들과 비교했을 때 경쟁력이 있습니다. 특히 사전 학습 과정이 필요하지 않기 때문에, 전체 학습 시간이 대폭 단축됩니다.

효과성 측면

CTR(Click-Through Rate) 예측에 있어서 DeepFM은 다른 모델들보다 우수한 성능을 보여줍니다:

• 상호작용을 고려하지 않는 LR(Logistic Regression) 모델이 다른 모델들에 비해 성능이 낮음 → 상호작용 고려의 중요성 입증
• 높은 차원의 상호작용을 고려하는 모델들이 낮은 차원의 상호작용만 고려하는 모델보다 우수한 성능을 보임
• 임베딩을 공유하는 DeepFM이 AUC와 LogLoss 측면에서 가장 좋은 성능을 기록

이러한 결과는 추천 시스템에서 다양한 차원의 상호작용을 고려하는 것의 중요성과 DeepFM 모델의 효과성을 명확하게 보여줍니다.

---

IV. 결론 🎯

DeepFM은 추천 시스템에서 낮은 차원의 상호작용과 높은 차원의 상호작용을 동시에 모델링할 수 있는 효과적인 접근 방식을 제공합니다. 특히 다음과 같은 장점을 가집니다:

• 복잡한 특성 공학 작업 없이도 다양한 차원의 상호작용을 End-to-End로 학습 가능
• FM 컴포넌트와 Deep 컴포넌트가 임베딩을 공유함으로써 모델의 표현력 향상
• 다양한 추천 시나리오에서 우수한 성능을 보임

추천 시스템을 개발하거나 개선하려는 경우, DeepFM은 기존 모델의 한계를 뛰어넘는 효과적인 대안이 될 수 있습니다. 특히 사용자와 아이템 간의 복잡한 상호작용을 포착하여 보다 정확한 추천을 제공하고자 하는 경우에 적합합니다.

---

참고 문헌:

• Guo, H., Tang, R., Ye, Y., Li, Z., & He, X. (2017). DeepFM: A Factorization-Machine based Neural Network for CTR Prediction. arXiv preprint arXiv:1703.04247.
• Cheng, H. T., Koc, L., Harmsen, J., Shaked, T., Chandra, T., Aradhye, H., ... & Shah, H. (2016). Wide & deep learning for recommender systems. In Proceedings of the 1st workshop on deep learning for recommender systems.
• Rendle, S. (2010). Factorization machines. In 2010 IEEE International Conference on Data Mining.