그래프 기반 추천 시스템

💡들어가며

추천 시스템은 현대 디지털 서비스에서 필수적인 요소로 자리 잡았습니다. 넷플릭스의 영화 추천, 유튜브의 동영상 추천, 온라인 쇼핑몰의 상품 추천 등 우리의 일상에 깊숙이 파고든 추천 시스템은 점점 더 정교해지고 있습니다. 오늘은 추천 시스템의 최신 트렌드인 '그래프 기반 추천 시스템'에 대해 살펴보겠습니다. 기존 추천 시스템의 한계점을 짚어보고, 그래프 기반 접근법이 어떻게 이러한 문제를 해결하는지 알아보겠습니다.

---

I. 기존의 추천 시스템

기존의 추천 시스템은 많은 사용자들로부터 수집한 선호 정보를 바탕으로 다른 사람의 선호를 예측하는 방식으로 작동합니다. 크게 콘텐츠 기반 필터링(Content-based Filtering)과 협업 필터링(Collaborative Filtering) 두 가지 방식으로 나눌 수 있습니다.

콘텐츠 기반 필터링 (Content-based Filtering)

콘텐츠 기반 필터링은 아이템의 특징을 활용하여 사용자가 좋아하는 아이템과 특징이 비슷한 다른 아이템을 추천하는 방식입니다. 예를 들어, 사용자가 로맨틱 코미디 영화를 주로 시청한다면, 비슷한 장르의 다른 영화를 추천해주는 방식입니다.

🔍 작동 원리:

• 아이템(영화, 상품 등)의 특성 정보를 분석
• 사용자의 과거 선호 이력을 바탕으로 선호하는 특성 파악
• 유사한 특성을 가진 다른 아이템 추천

협업 필터링 (Collaborative Filtering)

협업 필터링은 비슷한 취향을 가진 다른 사용자들의 선호를 기반으로 추천하는 방식입니다. 많은 사용자로부터 수집한 평가 데이터를 분석하여 유사한 취향을 가진 사용자 그룹을 찾고, 그 그룹이 좋아하는 아이템을 추천합니다.

🔍 작동 원리:

• 사용자-아이템 간의 상호작용 데이터 수집 (평점, 클릭, 구매 이력 등)
• Matrix Factorization 등의 기법을 통해 사용자와 아이템의 잠재 요인(latent factor) 추출
• 유사한 선호도를 가진 사용자 그룹 파악
• 해당 그룹의 선호 아이템 추천

Matrix Factorization(MF)에 대한 이해

협업 필터링에서 널리 사용되는 Matrix Factorization은 사용자와 아이템 간의 평가 정보를 담은 Rating Matrix를 User Latent Matrix와 Item Latent Matrix로 분해하는 기법입니다. Rating Matrix는 (사용자 수) × (아이템 수)로 구성되며, 각 셀에는 사용자의 아이템 평가 점수가 기록됩니다.

대부분의 경우 모든 사용자가 모든 아이템을 평가하지는 않기 때문에 Rating Matrix는 많은 빈칸(sparse matrix)을 포함합니다. MF는 이러한 행렬 분해 과정에서 빈칸에 해당하는 평점을 예측하는 역할을 합니다.

평가 데이터는 명시적 피드백(explicit feedback)인 평점이나 별점 외에도, 클릭, 시청 시간 등의 암시적 피드백(implicit feedback)을 활용할 수 있습니다.

기존 추천 시스템의 한계

하지만 이러한 기존의 추천 시스템은 실제 서비스에 적용했을 때 여러 문제점을 드러냈습니다.

• 확장성 문제: 전체 사용자를 대상으로 추천 결과를 계산하는 데 너무 많은 시간이 소요됩니다.
• 데이터 활용의 제한: 플랫폼이 보유한 다양한 데이터를 특성 정보로 충분히 활용하기 어렵습니다.
• 모델 업데이트 문제: 새로운 사용자나 아이템이 추가될 때마다 전체 모델을 재학습시켜야 합니다.
• 콜드 스타트 문제: 신규 사용자나 아이템의 경우 데이터 부족으로 정확한 추천이 어렵습니다.
• 다양성 부족: 인기 있는 아이템만 반복적으로 추천되는 경향이 있습니다.

---

II. 그래프 기반 추천 시스템

이러한 한계를 극복하기 위해 네이버, 요기요, 리멤버 등 많은 기업들이 최근 그래프 기반 추천 시스템으로 전환하고 있습니다. 그래프 기반 접근법은 데이터를 노드(사용자, 아이템 등)와 엣지(상호작용)로 구성된 네트워크로 모델링하여 더 복잡한 관계를 표현할 수 있습니다.

그래프 기반 추천 시스템의 장점

그래프 기반 추천 시스템은 다음과 같은 장점을 제공합니다:

• 메모리 효율성: 정해진 수의 인접 노드만 탐색함으로써 대규모 데이터에서의 메모리 문제를 효과적으로 해결합니다.
• 다양한 정보 통합: 콘텐츠 기반 필터링은 아이템 특성만, 협업 필터링은 사용자-아이템 관계만 사용했지만, 그래프 기반 접근법은 플랫폼이 가진 다양한 정보를 함께 활용할 수 있습니다.
• 유연한 업데이트: 전체 모델을 재구축할 필요 없이 그래프에 노드나 엣지를 추가/삭제하는 것만으로 업데이트가 가능합니다.
• 콜드 스타트 해결: 신규 사용자나 아이템의 고유 데이터(메타데이터)를 활용하여 더 나은 초기 추천이 가능합니다.

실제 사례

1. 네이버의 추천 시스템

네이버는 Deview 2020에서 '추천시스템 3.0'을 발표하며 그래프 기반 접근법으로의 전환을 공유했습니다. 기존 추천 모델에 비해 CTR(클릭률)이 최대 16% 향상되는 성과를 거두었습니다.

2. 요기요의 YoSEMITE

요기요는 GNN(Graph Neural Network)을 활용한 YoSEMITE 추천 모델을 개발했습니다. 기존 모델과 비교하여 클릭 CVR이 4.51%, 주문 CVR이 14.84%, 결제 금액이 12.80% 증가하는 효과를 얻었습니다.

3. 리멤버의 인재 추천 시스템

리멤버는 지식 그래프를 활용하여 인재 추천 시스템을 구축했습니다. 이를 통해 더 정확하고 관련성 높은 인재 매칭이 가능해졌습니다.

그래프 데이터 구축 방법

테이블 형태의 데이터베이스를 그래프로 변환하는 과정은 다음과 같습니다:

1. 그래프 구성 요소 정의

• 노드(Nodes): 사용자, 아이템 등 그래프의 개체
• 엣지(Edges): 노드 간의 관계(예: 사용자가 아이템에 평점을 남김)
• 노드 특성(Features): 각 노드의 속성 정보
• 라벨(Labels): 예측하고자 하는 대상(예: 평점)

2. 노드 특성 추출

각 노드에 ID를 부여하고 관련 특성을 추출합니다. 예를 들어:

• 영화 노드: 장르, 유형(TV/영화), 에피소드 수 등
• 사용자 노드: 평균 평점, 평가 횟수 등

3. 특성 인코딩

범주형 특성은 원-핫 인코딩(One-hot encoding)과 같은 방법으로 변환합니다.

4. 엣지 정보 추출

노드 간의 관계를 나타내는 엣지 정보를 추출합니다(예: 사용자가 영화에 남긴 평점).

5. 그래프 데이터셋 구축

PyTorch Geometric과 같은 라이브러리를 활용하여 이종 그래프(Heterogeneous Graph)를 구축합니다.

---

III. 그래프 기반 추천 시스템 구현 예시

Anime Recommender Database를 사용한 그래프 기반 추천 시스템 구현 과정을 간략히 살펴보겠습니다.

1. 데이터셋 구성

해당 데이터셋은 두 개의 주요 테이블로 구성됩니다:

• anime 테이블: 애니메이션 ID, 제목, 장르, 유형, 에피소드 수, 평점 등
• rating 테이블: 사용자 ID, 애니메이션 ID, 평점

2. 그래프 구성 요소 정의

이종 그래프(Heterogeneous graph) 형태로 데이터를 모델링합니다:

• 노드 유형: 사용자(User), 애니메이션(Anime)
• 엣지: 사용자가 애니메이션에 평점을 부여함
• 노드 특성: 애니메이션(장르, 유형, 에피소드 수), 사용자(평균 평점, 평가 횟수)
• 라벨: 예측할 평점 값

3. 구현 과정

애니메이션 노드 특성 추출:

# 노드에 ID 부여
sorted_df = anime.sort_values(by="anime_id").set_index("anime_id")
sorted_df = sorted_df.reset_index(drop=False)
movie_id_mapping = sorted_df["anime_id"]

# 노드 특성 선택
node_features = sorted_df[["type", "genre", "episodes"]]

# 장르 처리 (첫 번째 장르만 선택)
genres = node_features["genre"].str.split(",", expand=True)
node_features["main_genre"] = genres[0]

# 원-핫 인코딩
anime_node_features = pd.concat([node_features, pd.get_dummies(node_features["main_genre"])], axis=1, join='inner')
anime_node_features = pd.concat([anime_node_features, pd.get_dummies(anime_node_features["type"])], axis=1, join='inner')
anime_node_features.drop(["genre", "main_genre"], axis=1, inplace=True)

 

사용자 노드 특성 추출:

# 사용자별 평균 평점과 평가 횟수 계산
mean_rating = rating.groupby("user_id")["rating"].mean().rename("mean")
num_rating = rating.groupby("user_id")["rating"].count().rename("count")
user_node_features = pd.concat([mean_rating, num_rating], axis=1)

# 사용자 ID 재매핑 (0부터 시작)
user_node_features = user_node_features.reset_index(drop=False)
user_id_mapping = user_node_features["user_id"]

엣지 정보 추출:

# ID 매핑 적용
movie_map = movie_id_mapping.reset_index().set_index("anime_id").to_dict()
rating["anime_id"] = rating["anime_id"].map(movie_map["index"]).astype(int)

user_map = user_id_mapping.reset_index().set_index("user_id").to_dict()
rating["user_id"] = rating["user_id"].map(user_map["index"]).astype(int)

# 엣지 인덱스 추출
edge_index = rating[["user_id", "anime_id"]].values.transpose()

그래프 데이터셋 구축:

from torch_geometric.data import HeteroData

data = HeteroData()

# 노드 특성 저장
data['user'].x = user_node_features
data['movie'].x = anime_node_features

# 엣지 인덱스 저장
data['user', 'rating', 'movie'].edge_index = edge_index

# 라벨 정보 저장
data['user', 'movie'].y = y

IV. 결론 🎯

그래프 기반 추천 시스템은 기존 추천 접근법의 한계를 효과적으로 극복하며, 더 정확하고 맥락에 맞는 추천을 제공합니다. 네이버, 요기요, 리멤버 등 실제 서비스에서의 성공 사례는 그래프 기반 접근법의 효과를 입증합니다.

주요 장점으로는 확장성 향상, 다양한 데이터 통합 능력, 유연한 모델 업데이트, 콜드 스타트 문제 해결 등이 있습니다. 특히 신규 사용자나 아이템에 대한 추천 성능이 크게 향상되어, 추천 시스템의 전반적인 품질을 높일 수 있습니다.

앞으로 그래프 신경망(GNN)과 같은 고급 기술을 활용한 그래프 기반 추천 시스템은 더욱 발전할 것으로 예상됩니다. 여러분의 서비스에도 그래프 기반 접근법을 고려해보는 것이 좋겠습니다.

---

참고 문헌:

• 네이버 Deview 2020, "추천시스템 3.0: 딥러닝 후기시대에서 바이어스, 그래프, 그리고 인과관계의 중요성"
• 요기요 기술 블로그, "GNN을 활용한 요기요의 추천 모델 YoSEMITE"
• 리멤버 빅데이터센터 AI Lab, "지식 그래프를 이용한 인재 추천 시스템"
• "Converting a Tabular Dataset to a Graph Dataset for GNNs", https://youtu.be/AQU3akndun4