추천 알고리즘 구현 | 추천 시스템 Recommender System 21016 좋은 평가 이 답변

당신은 주제를 찾고 있습니까 “추천 알고리즘 구현 – 추천 시스템 Recommender System“? 다음 카테고리의 웹사이트 https://you.charoenmotorcycles.com 에서 귀하의 모든 질문에 답변해 드립니다: https://you.charoenmotorcycles.com/blog/. 바로 아래에서 답을 찾을 수 있습니다. 작성자 이수안컴퓨터연구소 이(가) 작성한 기사에는 조회수 10,067회 및 좋아요 216개 개의 좋아요가 있습니다.

추천 알고리즘에 콘텐츠 기반 필터링, 아이템 기반 협업 필터링, 잠재 요인 기반 협업 필터링 등이 있으나 실제적인 서비스 구현을 위해서는 알고리즘 외에 대용량 트래픽에 안전한 네트워크 구축과 보안정책 수립, 실제 알고리즘을 적용하기 위한 프론트 개발자와의 협업 등 매우 다양한 협업이 …

Table of Contents

d여기에서 추천 시스템 Recommender System – 추천 알고리즘 구현 주제에 대한 세부정보를 참조하세요

머신러닝 Machine Learning
추천 시스템 Recommender System
컨텐츠 기반 Content-based Filtering
협업 필터링 Collaborative Filtering
Hybrid 방식, SVD, SVD++, NMF
Colab: https://colab.research.google.com/drive/1j39NJ-HSyAeRn-QekORfpkLcW3h5cg1W
이수안 컴퓨터 연구소 (SuanLab)
www.suanlab.com

주제와 관련된 이미지 추천 알고리즘 구현

주제와 관련된 더 많은 사진을 참조하십시오 추천 시스템 Recommender System. 댓글에서 더 많은 관련 이미지를 보거나 필요한 경우 더 많은 관련 기사를 볼 수 있습니다.

주제에 대한 기사 평가 추천 알고리즘 구현

Author: 이수안컴퓨터연구소
Views: 조회수 10,067회
Likes: 좋아요 216개
Date Published: 2020. 10. 24.
Video Url link: https://www.youtube.com/watch?v=6TP51jvjLsE

포트폴리오를 위한 추천 알고리즘 구현 [2장] : Scikit-Surprise

반응형

포트폴리오 구성을 위한 두 번째 시간입니다.

먼저 이전 시간에 보충하기로 했던 내용에 대해 알아보겠습니다.

! 다음에 공부해야 할 내용 – 잠재요인 협업 필터링(Latent Factor), SVD

협업 필터링 의 주요 목표는 사용자-아이템 평점 매트릭스와 같은 축적된 사용자 행동 데이터를 기반으로 사용자가 아직 평가하지 않은 아이템을 예측 평가(Predicted Rating)하는 것입니다. 예를 들어 특정 사용자가 아직 구매하지 않은 제품이 있다면 협업 필터링은 사용자가 평가한 다른 아이템을 기반으로 사용자가 평가하지 않은 아이템의 예측 평가를 도출하는 방식입니다.

이 중 Latent Factor(잠재 요인 협업 필터링)은 잠재 요인 협업 필터링으로 사용자-아이템 평점 매트릭스 속에 숨어 있는 잠재 요인을 추출해 예측을 할 수 있게 하는 기법입니다. 잠재 요인 협업 필터링은 사용자-아이템 평점 행렬 데이터만을 이용해 말 그대로 ‘잠재 요인’을 끄집어내는 것을 의미합니다. ‘잠재 요인’이 어떤 거인지는 명확히 정의할 수 없습니다.

대규모 다차원 행렬을 SVD와 같은 차원 감소 기법으로 분해하는 과정에서 잠재 요인을 추출하는데, 이러한 기법을 행렬 분해라고 합니다. 차원 축소에는 PCA, LDA, SVD, NMF 방식이 있습니다. 자세한 사항은 [이곳]
이 강좌에서는 SVD의 경우 행렬 분해를 통한 잠재 요인 협업 필터링을 위한 SVD알고리즘이라고 생각하면 됩니다. 관련된 파라미터로 n_factors와 n_epochs의 값을 변경해 튜닝할 수 있으나 튜닝 효과는 크지 않습니다. baised의 경우는 큰 이슈가 없는 한 기본값인 True로 설정을 유지하는 것이 좋습니다.

n_factors : 잠재 요인 K의 개수. 기본값은 100, 값이 커질수록 정확도가 높아질 수 있으나 과접합 문제가 발생할 수 있습니다.

n_epochs : SGD(Stochastic Gradient Descent) 수행 시 반복 횟수, 기본값은 20

biased (bool): 베이스라인 사용자 편향 적용 여부이며,디폴트는 True입니다.

! 다음에 공부해야 할 내용 – 데이터형(튜플과 여러가지 데이터 유형)

자세한 사항은 [이곳]
! 다음에 공부해야 할 내용 – 알고리즘 Accuracy에 대해 RMSE, MSE.. 방법에 대해

회귀분석의 정확성을 측정하기 위한 모델 예측지표입니다. 자세한 사항은 [이곳]
일단 테스트 데이터를 다운로드 합니다.

다운로드한 데이터 파일을 읽은 후 인덱스와 칼럼명을 삭제하고 ratings_noh.csv로 저장합니다.

ratings = pd.read_csv(r’C:\Users\ratings.csv’)

ratings.to_csv(‘C:\\Users\\ratings_noh.csv’, index=False, header=False)

이 ratings_noh.csv를 DataSet에 적용하기 위해 load_from_file()을 이용합니다. 이 작동을 하기 전 Reader클래스를 이용해 데이터 파일의 파싱 포맷을 정의해야 합니다. Reader 클래스는 로딩될 ratings_noh.csv 파일의 파싱 정보를 알려주기 위해 사용됩니다. Reader클래스의 생성자에 각 필드의 칼럼명과 칼럼 분리분자, 그리고 최소~최대 평점을 입력해 객체를 생성하고, load_from_file()로 생성된 Reader객체를 참조해 데이터 파일을 파싱 하면서 로딩합니다.

from surprise import Reader, Dataset

reader = Reader(line_format=’user item rating timestamp’, sep=’,’, rating_scale=(0.5, 5))

data = Dataset.load_from_file(r’C:\\Users\\ratings_noh.csv’, reader=reader)

위의 내용은 Reader 객체 생성 시에 line_format 인자로 4개의 칼럼으로 데이터가 구성돼 있음을 명시했고, 각 칼럼의 분리 문자는 콤마, 평점의 단위는 0.5, 최대 평점은 5점으로 설정했습니다.

이제 SVD행렬 분해 기법을 이용해 추천을 예측해 보겠습니다. 잠재 요인 크기 K값을 나타내는 파라미터 n_factors를 50으로 설정해 데이터를 학습한 뒤에 테스트 데이터 세트를 적용해 예측 평점을 구한 후 예측 평점과 실제 평점 데이터를 RMSE로 평가하겠습니다.

trainset, testset = train_test_split(data, test_size=.25, random_state=0)

algo = SVD(n_factors=50, random_state=0)

algo.fit(trainset)

predictions = algo.test(testset)

accuracy.rmse(predictions)

→ RMSE: 0.8028

교차 검증과 하이퍼 파라미터 튜닝과 관련하여 surprise는 사이킷런과 유사한 cross_validate()와 GridSearchCV클래스를 제공합니다. cross_validate() 함수는 교차 검증을 위한 함수이며 사용법은 다음과 같습니다.

다음 예제에서는 cross_validate()를 이용해 ratings.csv를 DataFrame으로 로딩한 데이터를 5개의 학습/검증 Fold 데이터 세트로 분리해 교차 검증을 수행하고 RMSE, MAE로 성능 평가를 진행합니다.

from surprise.model_selection import cross_validate

ratings = pd.read_csv(r’C:\\Users\\HANA\\Downloads\\ml-latest-small\\ratings.csv’)

reader = Reader(rating_scale=(0.5, 5.0))

data = Dataset.load_from_df(ratings[[‘userId’, ‘movieId’, ‘rating’]], reader)

algo = SVD(random_state=0)

cross_validate(algo, data, measures=[‘RMSE’, ‘MAE’], cv=5, verbose=True)

surprise의 GridSearchCV도 사이킷런의 GridSearchCV와 유사하게 교차 검증을 통한 하이퍼 파라미터 최적화를 수행합니다. 하이퍼 파라미터 최적화는 알고리즘 유형에 따라 다를 수 있지만, SVD의 경우 주로 점진적 하강법 (Stochastic Gradient Descnt)의 반복 횟수를 지정하는 n_pochs와 SVD의 잠재 요인 K의 크기를 지정하는 n_facor를 튜닝합니다.

from surprise.model_selection import GridSearchCV

param_grid = {‘n_epochs’: [20,40,60], ‘n_factors’: [50,100,200]}

gs = GridSearchCV(SVD, param_grid, measures=[‘rmse’, ‘mse’], cv=3)

gs.fit(data)

print(gs.best_score[‘rmse’])

print(gs.best_params[‘rmse’])

n_epochs가 20, n_factors가 50일 때 RMSE가 0.877로 가장 좋은 값이 도출됩니다.

다음 시간은 프로그램을 실제로 만들어 보겠습니다.

반응형

상품(콘텐츠) 추천 기능 구현하기: (3) 고객 취향 사로잡기

안녕하세요 뷰저블입니다. 상품 추천 기능 구현하기 마지막편, 협업 필터링입니다. 이전 글에서도 협업 필터링에 대해 잠깐 매우 간단한 개념만을 소개해드렸었는데요, 이번 글에서는 상세히 다뤄보고자 합니다.

많은 서비스들이 ‘이 아이스크림을 보는 사람은 이 아이스크림도 살펴보고 있어요!’ 혹은 ‘이 과자를 구입한 사람은 이 과자도 구매했어요!’ 처럼 상품간의 공통점을 이용하여 추천을 제안하는데요. 이러한 방식은 ‘개인화 추천(개인의 취향에 따라 상품을 제안하는 방식)’방식이 아닌 모두에게 동일한 결과를 노출하는 방식에 해당합니다.

하지만, 협업 필터링은 ‘나와 닮은 사람의 평가는 나와 비슷한 평가를 내릴 것이야. 따라서 나는 아직 사지 않았지만 다른 사람이 구매한 상품을 나도 원할거야’라는 사고 아래 시작합니다.

특정 대상자가 상품을 살펴보거나 구입한 데이터와, 다른 사람들이 살펴보거나 구입한 데이터 양쪽 모두 사용하여 해당 구입 패턴을 유형화하고 유사성과 공통점의 ‘상관관계’를 분석합니다. 이를 통해 개인 행동이력과 관련된 ‘개인화된 상품’을 추천받을 수 있게 됩니다.

즉, 협업필터링은 ‘자신과 닮은 고객을 찾아내 해당 고객이 구매했지만 아직 내가 갖고 있지 않은 상품을 추천하는 방식’이라 말할 수 있습니다. 세상 간단한 개념이죠?

좀 더 깊이 설명하자면, 이용자의 모든 사용과 소비 기록을 입력시켜 이를 바탕으로 ‘불필요한 정보를 필터링’하는 기술입니다. 예를 들어 박 사원이 A와 B 콘텐츠를 좋아하고, 김 사원이 B와 C 콘텐츠를 좋아한다면, 박 사원에게는 C를, 김 사원에게는 A를 추천하는 식이죠.

데이터가 쌓이면 쌓일수록 추천 정확도가 높아지는 머신러닝 기술이 적용되었습니다. 그래서 이름도 ‘필터링’입니다. 협업필터링은 상품 특성간의 연관성이나 상품간의 공통점으로 추천할뿐만 아니라, 구매 데이터를 기반으로 한 고객 간의 상호 유사성을 패턴화하여, 자신과 닮은 사람이 가졌지만 본인은 갖고 있지 않은 상품을 추천하는 것이 기본 개념이기 때문에 간혹 ‘전혀 예상하지 못했던 상품’이 튀어나오기도 합니다.

김민경 고객에게 추천해야하는 상품은 무엇일까요?

협업 필터링 알고리즘의 기본

쇼핑몰에서 상품 구매이력 데이터를 살펴본 결과 아래 표로 도식화할 수 있었습니다.

<상품 구매이력 데이터를 표로 도식화하기>

상품을 구매했다면 ‘1’로 표기합니다.

상품을 확인하긴 했지만 구매하지 않았다면 ‘0’으로 표기합니다.

마지막으로 상품이 고객에게 화면단에 노출되지 않았으면서, 해당 상품을 구매하였는지 모르는 경우는 데이터가 없어(NULL), ‘-’로 표기하였습니다.

자 문제를 하나 내보겠습니다. ‘김민경’ 고객에게는 다음으로 어떤 상품을 추천해야 할까요?

김민경씨의 취향과 가장 맞는 고객을 함께 먼저 찾아봅시다. 상관관계가 높은 사람이 바로 그 고객인데요, 김민정 고객과 권유라 고객의 취향의 유사성은 김민경 고객에게도, 권유라 고객에게도 함께 표기된 제품(두 고객 모두에게 동일한 숫자가 적혀 있어야 함)의 0과 1 데이터에 대한 상관관계를 살펴봅니다.

여기서는 0.167이라는 상관관계가 있음이 밝혀졌는데요, 이 상관계수는 김민경 고객과 권유라 고객이 같은 상품을 샀거나 동일한 상품을 열람(노출)한 정도가 많으면 많을 수록 숫자가 1에 수렴합니다.

그렇다면 김민경 고객과의 상관관계를 살펴보면 엄상희, 구태혁, 고민준의 상관관계가 0.5이상으로 높게 나타났습니다. 상관계수가 상위인 3명의 평균값(데이터가 ‘-’일 경우에는 합계에서 제외)으로 김민경 고객에게 추천도를 구하면 상품E가 구태혁과 고민준 모두 구입한 상품에 해당하여 평균 1.0이라는 높은 수치가 나옵니다.

그럼 김민경 고객에게 다음으로 추천해야 하는 상품은 결국 상품E가 되는 것이지요.

김민경 고객에게 추천해야하는 상품,

한 걸음 더 나아가 고도화된 협업필터링으로 찾아볼까요?

위에서 설명한 표는 상품을 구입하였다면 ‘1’, 구입하지 않았으면 ‘0’, 상품이 고객 화면단에 비노출되었다면 ‘-’으로 표기하였습니다. 즉, 상품의 평가가 높았다면 ‘1’, 평가가 낮았다면 ‘0’이라는 두 가지 평가 데이터를 기반으로 산출하였다는 것을 의미합니다.

헌데 여기서 다시 질문을 던져보겠습니다. 영화를 구매는 했는데 시청했더니 너무 재미가 없었던 적도 있고, 맛을 봤더니 맛이 없어 재구매 의사가 없을 수도 있고 내가 사려는게 아니라 엄마나 여자친구에게 선물로 주기 위해 내 타입은 아니지만 일부러 구매했을 수도 있습니다. 거꾸로 아직 사진 못했지만 너무 갖고 싶어서 항상 사려고 마음에 염두해 두었을 수도 있습니다.

이렇게 생각해보면 1과 0이라는 2가지 평가방식만으로 추천해야할 상품을 정하는 건 어쩌면 너무 부족한 것일지도 모릅니다. 좀 더 정밀도 높은 상품을 추천하려면 상품을 평가한다는 관점을 함께 도입하여 생각해보아야 합니다.

<고도화된 협업 필터링>

영화를 검색해보신 적 있으신가요? 보통 5개의 별점으로 얼마나 재미있었는 체킹할 수 있는데요, 이렇게 평가 내리는 방식을 좀 더 세분화하면 단순히 1와 0으로 점수화하는 것보다 고도화할 수 있습니다.

대표적으로 그룹렌즈(GroupLens)라는 회사에서 Usenet 사이트의 기사를 추천하기 위해 다른 고객의 평가를 기반으로 해당 고객에게 기사를 추천하였고, 해당 평가 방식 또한 위 별점 처럼 5개로 구분되어 있었다고 해요. 이후에 계속해서 상품 열람이력이나 구입 이력같은 암묵적인 평가 방식을 채용하는 추천 시스템들이 속속히 등장하였고, 현재 ‘0’과 ‘1’로 간단히 기본적으로 구현하는 협업필터링이 널리 퍼졌다고 합니다.

위에서 설명드린 기본적인 협업필터링 표과 비교하기 위해 다시 5점으로 상세화한 표를 가져왔습니다. 상품 구입 후 평가가 가장 높다면 ‘5’, 가장 낮다면 ‘1’로 5단계 표기하였습니다. 마찬가지로 구매한 이력이 없거나 고객에게 노출되지 않았다면 ‘-’로 표기합니다. 다시 김민경 고객에게 어떤 상품을 추천해야 할까요?

우선 김민경 고객과의 상관관계를 살펴보면 엄상희, 구태혁, 고민준 3명의 상관계수가 0.5 이상으로 높습니다. 상관계수 상위 3명의 평균값으로 김민경 고객에게 추천도가 높은 상품을 살펴보면 상품E가 평균 4.5점으로 높다는 것을 알 수 있죠. 쇼핑몰 화면상으로 상품E를 제안할 수 있습니다.

협업필터링으로 구현한 추천 기능, 어떻게 성과를 측정할까?

먼저, 기능이 구현된 페이지 내 장바구니 추가 또는 상품 상세 클릭 수의 비중이 증감하였는지를 살펴볼 수 있습니다. 구글 애널리틱스나 어도비 애널리틱스로 해당 영역 내 클릭 이벤트를 수집할 수도 있는데요, 뷰저블 스크립트 코드가 설치되었다면 추가 이벤트 트래킹 코드를 삽입할 필요없이 바로 클릭 히트맵에서 클릭 성과 확인이 가능합니다. 나아가 A/B Testing 기능을 이용하여 두 개의 URL을 가지고 비교해볼 수 있습니다.

다음으로는 정성적인 평가를 추가하기 위해 스크롤 히트맵의 어텐션 그래프를 통해 고객이 해당 기능을 인지하고 살펴보는지를 측정할 수 있습니다. 고객이 얼마나 도달하는지, 또 도달하여 숙독하는지를 전후 대비 살펴보세요.

해당 화면 높이 값에서 스크롤 도달 PV의 비중이 증가하였지만 클릭이 많이 발생하지는 않는지, 혹은 많이 도달하지 않았음에도 불구하고 굉장히 많은 클릭이 발생하는지도 살펴볼 수 있습니다.

나아가 해당 상품이 실제로 구매로 이어져 매출에 기여하였는지 기여도를 측정하는 방법이 있습니다. 어도비 애널리틱스에서는 eVars라는 특수한 기능으로 제공하고 있기도 합니다.

고도화된 추천 알고리즘을 구현하기 위해서는

데이터 설계 단계부터 UX디자이너가 참여해야 합니다.

온라인에서 일어나는 ‘추천 기능’은 데이터 수집 단계부터 UX 디자이너와 데이터 관리자, 데이터 분석가, 개발자가 함께 협업하여야 합니다.

어떤 알고리즘을 적용해야하며 어느 수준까지 구현할지, 해당 기능을 구현하기 위해서는 화면으로 어떻게 풀어 고객 경험을 증진시킬 수 있을지 모두 UX 디자이너가 이해하고 주축이 되어 실현해야 합니다.

이번 <상품(콘텐츠) 추천 기능 구현하기> 시리즈 글을 통해 여러분들께 상품 추천 기능별로 어떤 데이터가 기본적으로 필요하며 어떤 구현 방식을 채용해야 하는지, 나아가 어떻게 UX로 표현할 수 있을지 설명드렸습니다.

데이터 분석가나 개발자처럼 알고리즘을 직접 구현할정도는 아니더라도 어느정도 이해를 하고 있어야 커뮤니케이션하고 리딩하여 고객에게 나은 경험을 제공할 수 있을 것입니다. 이번 글이 그러한 UX 디자이너 여러분들에게 꼭 도움이 되었으면 합니다.

참고 자료 : (PDF) GroupLens: Applying collaborative filtering to Usenet news

꿈 많은 사람의 이야기

포스팅 개요

해당 글에 대한 코드는 아래 github 링크에 전부 올려두었습니다.

이번 포스팅은 파이썬(Python)으로 추천 시스템(Recommendation system) 기본을 구현해보는 포스팅입니다.

지난 포스팅에는 추천 시스템 협업 필터링(Collaborative Filtering)을 구현해봤습니다.

그 중 아이템 기반 협업 필터링(Item based Collaborative Filtering)을 구현했습니다.

https://lsjsj92.tistory.com/568

이번 포스팅은 이전 포스팅에 이어서 파이썬으로 추천 시스템 구현(Recommender system with Python)해보기 3탄으로 이어집니다.

그 중 협업 필터링을 구현할 것인데요. 지난 포스팅과 다르게 행렬 분해(Matrix Factorization)을 기반(잠재 요인 협업 필터링, latent factor collaborative filtering) 으로 한 추천 시스템을 파이썬으로 구현해봅니다.

Python Recommendation System(Recommender system) : Collaborative Filtering Matrix Factorization

해당 자료는 아래에서 참고했습니다.

데이터는 캐글의 MovieLens 데이터를 사용했습니다. (https://www.kaggle.com/sengzhaotoo/movielens-small)

포스팅 본문

협업 필터링(Collaborative Filtering) 요약

지난 포스팅에서 추천 시스템(Recommender System)의 협업 필터링(Collaborative Filtering)에는 크게 2가지 종류가 있다고 말씀드렸습니다.

아이템 기반 협업 필터링(Item based Collaborative Filtering) – nearest neighbor collaborative filtering 혹시 모르신다면 링크를 참고해주세요 (https://lsjsj92.tistory.com/563)

잠재 요인 기반 – SVD와 같은 행렬 분해(Matrix Factorization)를 사용

혹시 모르신다면 링크를 참고해주세요 (https://lsjsj92.tistory.com/564)

오늘 포스팅은 여기서 잠재 요인 기반 협업 필터링(Latent Factor Collaborative Filtering)을 파이썬(Python)으로 구현해봅니다.

파이썬 코드 구현

자! 이제 파이썬으로 추천 시스템을 구현해보죠

데이터는 앞서 개요에서 말씀드린 것처럼 Kaggle에 있는 movielens 데이터를 사용하겠습니다.

반응형

이 movielens 데이터는 2개로 나뉘어져 있는데요.

1. 사용자-영화 평점 기반 데이터

2. 영화 정보 데이터

영화 평점 데이터는 10만개가 넘고, 영화 데이터는 9000여개가 됩니다.

이렇게 말이죠!

이제 여기서 불필요한 데이터는 제거하고 필요한 데이터만 남기겠습니다.

timestamp와 genres는 잠재 잠재요인 기반 협업 필터링 추천 시스템에서 필요없습니다.

따라서 drop을 이용해 두 컬럼을 각각 제거해줍니다.

자! 이제 2개의 파일을 pandas의 merge를 이용해서 합쳐줍니다.

2개의 데이터는 movieId라는 공통 컬럼 이 있습니다. pd.merge(rating_data, movie_data, on = ‘movieId’)를 이용해 하나로 합쳐주겠습니다.

하나로 합쳤습니다! 그러면 특정 유저가 영화에 대해 평점을 매겼는데 그 영화의 제목(title)이 무엇인지 알 수 있게 되었습니다.

자! 이제 pandas의 pivot table을 이용해서 데이터를 변경시켜주어야 합니다.

지금은 user, movie, rating이 각각 컬럼에 존재하는데요. 이렇게 생긴 데이터를 value를 평점으로 column은 movie로, row는 user id로 바꿔주어야 합니다. 아래 그림처럼요!

이렇게 변환하는 것을 pandas에서 pivot_table이라는 것으로 지원해줍니다.

바꿔주죠!

user_movie_data.pivot_table(‘rating’, index = ‘userId’, columns=’title’)로 바꿔주면 사용자-영화 평점 데이터로 변경해줍니다.

단, 단순히 저렇게만 하면 사용자가 평점을 매기지 않은 정보에는 NaN값이 들어가니 fillna을 사용해 0으로 채워줍시다.

이제 이 데이터를 어떻게 활용할까? 이것을 고민해야 하는데요.

이번 포스팅에서는 ‘특정 영화와 비슷한 영화를 추천’ 해주는 컨셉으로 가볼까합니다.

그래서 현재 user-movie로 되어 있는 pivot table을 movie-user data로 바꿔줍시다.

numpy에서 .T를 사용하면 Transpose를 시켜줍니다. 즉, 전치를 시켜줍니다.

이렇게 전치로 바꿔주면 행은 9064개의 영화 데이터가 되고 열은 671개의 사용자 데이터가 됩니다.

이제 SVD라는 개념을 적용해서 사용해봅니다.

SVD(Singular Value Decomposition)란?

SVD라는 것은 특이값 분해라고도 불리웁니다. M x N 크기의 데이터 행렬 A를 아래와 같이 분해합니다.

출처 : https://ratsgo.github.io/from%20frequency%20to%20semantics/2017/04/06/pcasvdlsa/

300×250

제가 많이 참조하고 배우고 있는 ratsgo님의 블로그에 자세히 설명이 쓰어져 있는데요.

간단히 말하면 SVD는 다음과 같습니다.

행렬 U와 V에 속한 열벡터는 특이 벡터(Singular Vector)라 불리고 이 특이 벡터들은 서로 직교하는 성질을 가지고 있습니다. 또한 가운데 시그마 모양(∑)을 가지고 있는 것도 행렬인데요. 이 행렬은 대각 행렬(Diagonal Matrix) 성질을 가지고 있습니다. 그래서 대각 성분이 행렬 A의 특이값이고 나머지는 0의 값을 가지고 있습니다. 저렇게 특이값으로 쪼개진 데이터를 U, ∑, Vt를 각각 행렬곱을 하면 원래 행렬 A로 되돌릴 수 있습니다. 파이썬 사이킷런(Python scikit learn)에서 제공해주는 TruncateSVD는 이러한 SVD의 변형입니다. TruncatedSVD는 시그마 행렬(∑)의 대각원소(특이값) 가운데 상위 n개만 골라낸 것입니다. 이렇게 하면 기존 행렬 A의 성질을 100% 원복할 수 없지만 (그 만큼 데이터 정보를 압축했기 때문) 행렬 A와 거의 근사한 값이 나오게 됩니다.

여기서는 scikit learn의 TruncatedSVD를 사용합니다.

scikit learn의 TruncatedSVD를 사용하고 안에 latent 값을 12로 두겠습니다.

그리고 SVD.fit_transform을 통해 변환을 하게 되면 9064개의 영화 데이터가 12개의 어떤 요소의 값을 가지게 됩니다.

이렇게 나온 데이터끼리 피어슨 상관계수를 통해 구해줍니다.

numpy에 있는 corrcoef를 이용하면 상관계쑤를 구할 수 있도록 해줍니다

seaborn의 heatmap을 사용하면 이 상관계수끼리의 관계를 볼 수 있습니다.

대각선이 하얀색인 이유는 자기 자신과의 관계니까 가장 높은 하얀색이 나온 것입니다.

이렇게 나온 상관계수를 이용해서 ‘특정 영화’와 관련하여 상관계수가 높은 영화를 뽑아주면 됩니다.

마블의 가디언즈 오브 갤럭시를 지정하여 상관계수가 높은 영화를 뽑아봤는데요.

영화 목록은 아래와 같습니다.

영화 투 건즈

영화 2012

영화 300

마블 엔트맨

마블 어벤져스

베트맨

등등의 영화가 마블의 가디언즈 오브 갤럭시와 비슷하다고 추천되었습니다!

뭔가 그럴듯한 결과가 나왔네요!

이번 포스팅에서는 파이썬을 활용해 추천 시스템을 구현해보았습니다.

이번 추천 시스템 구현은 잠재 요인 협업 필터링(latent factor collaborative filtering)에 대해서 구현했고 이를 위해 행렬 분해(matrix factorization)을 사용했습니다. 행렬 분해를 위해서 SVD를 사용했구요.

이번 포스팅은 ‘특정 영화’와 비슷한 영화 들을 추천해주었습니다.

마치 아이템 기반 협업 필터링과 비슷했죠?

이것은 사용자가 본 history를 생각하지 않은 결과입니다. 즉, 사용자에게 추천하기에는 부족하죠.

따라서 다음 포스팅에서는 사용자 맞춤 개인 추천 시스템 을 구현하는 포스팅을 작성하겠습니다.

반응형

그리드형

추천 알고리즘(Recommendation Algorithm)이란?

728×90

목차

추천 알고리즘

사용자가 선호할 만한 아이템을 추측하여 적합한 특정 항목을 제공해 주는 기본적인 알고리즘에는

콘텐츠 기반 필터링(Content-based filtering)과 협업 필터링(Collaborative filtering) 이 있다.

콘텐츠 기반 필터링은 ‘콘텐츠의 특성 자체’를, 협업 필터링은 사용자의 ‘행동 기록’을 분석하여 추천한다.

콘텐츠 기반 필터링

콘텐츠 기반 필터링은 콘텐츠(아이템)의 특성과 사용자의 선호도를 비교해 추천하는 방식이다.

장점

다른 유저의 데이터가 필요하지 않다.

추천할 수 있는 아이템의 범위가 넓다. 즉 새로운 아이템이나 인기 없는 아이템도 추천이 가능하다.

추천하는 이유를 제시할 수 있다. ex) 아이템의 특징으로 분석하기 때문에 어떤 특징이 추천의 이유가 되었다고 설명이 가능하다.

단점

적절한 특징을 찾기가 어렵다.

새로운 유저를 위한 추천이 어렵다. ex) 새로운 유저의 데이터가 존재하지 않거나 데이터가 부족하다면 해당 유저에게 추천 시스템을 적용하기 어렵다.

선호하는 특성을 가진 항목을 반복 추천한다.

협업 필터링

협업 필터링은 특정 집단에서 발생하는 ‘유사한 사용행동’을 파악하여, 비슷한 성향의 사람들에게 아이템을 추천하는 기술이다.

성향이 비슷하면, 선호하는 것도 비슷할 것이라는 가정을 전제로 한다.

협업 필터링은 1. 사용자 기반 협업 필터링(User-based CF) , 와 2. 아이템 기반 협업 필터링(Item-based CF)으로 구분된다.

1. 사용자 기반 협업 필터링 : 나와 성향이 비슷한 사람들이 사용한 아이템을 추천해 주는 방식이다.

ex) 사용자 A가 온라인 몰에서 치킨, 피자 그리고 콜라를 구매하고 B가 치킨과 콜라를 구매했다고 가정할 때, 알고리즘은 구매 목록이 겹치는 이 두 사용자가 유사하다고 판단해, 사용자 B에게 피자를 추천한다.

대표적으로 페이스북, 링크드인 등 대다수의 SNS ‘친구 추천’ 서비스 역시 이와 같은 서비스를 적용한다.

2. 아이템 기반 협업 필터링: 내가 구매하려는 물품과 함께 구매된 경우가 많은 아이템을 추천해 주는 방식이다.

ex) 공책과 볼펜을 함께 구매하는 소비자가 많다면, 공책을 구매한 사용자에게 볼펜을 추천한다. 이때 두 상품의 특징은 파악하지 않는다.

즉 공책과 볼펜이 사무용품인지, 서로 같이 관용되는 관계인지 등은 고려하지 않는다. 다만 두 제품이 같이 구매된 기록이 많기에 새로운 사용자에게도 추천할 뿐이다.

장점

많은 사용자에게서 얻은 기호 정보로 새로운 아이템을 추천한다.

직관적으로 이해하기 쉽고 합리적으로 보인다.

단점

콜드 스타트(Cold start) : 새로운 아이템이나 사용자가 추가되면, 충분한 사용기록이 확보될 때 까지는 적절한 투표를 하기 어렵다.

롱테일(Long tail) : 인기 편향성의 문제라고도 하며, 사용자가 소수의 아이템만 선호하여 대다수의 비인기 아이템들은 추천을 위한 충분한 정보가 쌓이지 못한다.

계산 효율 저하: 협업 필터링은 계산량이 비교적 많은 알고리즘 이기 때문에 사용자 수가 많은 경우 게산이 몇 시간에서 길게는 며칠까지 소요되기도 한다.

아래는 영화를 콘텐츠 기반 필터링을 기반으로 파이썬으로 구현해본 게시글이다.

딥러닝을 활용한 추천시스템 구현 올인원 패키지 Online.

주의사항 * 상황에 따라 사전 공지 없이 할인이 조기 마감되거나 연장될 수 있습니다.

* 수강 신청 및 결제를 완료하시면, 마이페이지를 통해 바로 수강이 가능합니다.

– 총 학습기간 :

정상 수강기간(유료 수강기간) 최초 1개월(30일), 무료 수강 기간은 31일차 이후로 무제한이며, 유료 수강기간과 무료 수강기간 모두 동일하게 시청 가능합니다.

본 패키지는 약 26시간 분량으로, 일 1시간 내외의 학습 시간을 통해 정상 수강 기간(=유료 수강 기간) 내에 모두 수강이 가능합니다.

– 수강시작일 :

수강 시작일은 결제일로부터 기간이 산정됩니다. (사전 예약 강의의 경우 1차 강의 오픈일) 패스트캠퍼스의 사정으로 수강시작이 늦어진 경우에는해당 일정 만큼 수강 시작일이 연기됩니다.

* 천재지변, 폐업 등 서비스 중단이 불가피한 상황에는 서비스가 종료될 수 있습니다.

– 본 상품은 기수강생 할인, VIP CLUB 제도 (구 프리미엄 멤버십), 기타 할인이벤트 적용 불가 합니다.

– 콘텐츠는 향후 당사의 일정에 따라 추가 또는 업데이트 될 수 있습니다.

– 쿠폰 적용이나 프로모션 등으로 인해 5만원 이하의 금액으로 강의를 결제할 경우, 할부가 적용되지 않습니다.

환불규정 – 수강시작 후 7일 이내, 5강 미만 수강 시에는 100%환불 가능합니다.

– 수강시작 후 7일 초과, 5강 이상 수강시 수강기간인 1개월(30일) 대비 잔여일에 대해 다음과 같이 환불 가능합니다.

: 환불요청일시 기준 수강시작 후 8일 ~10일 미만 경과시, 실 결제금액의 2/3에 해당하는 금액을 환불

: 환불요청일시 기준 수강시작 후 11일~15일 미만 경과시, 실 결제금액의 1/2에 해당하는 금액을 환불

: 환불요청일시 기준 수강시작 후 15일 초과 시, 환불금액 없음

맥주 추천시스템 구현 – 5. CF 기반 추천시스템 구현

CF 기반 추천시스템

🔗아이템 기반 협업필터링(CF)

추천시스템 구현에 사용할 알고리즘은 아이템기반 CF입니다.

협업필터링(CF)은 최근접 이웃 협업필터링과 잠재 요인 협업필터링으로 나뉩니다.

그리고 최근접 이웃 협업필터링은 다시 유저 기반과 아이템 기반으로 나뉩니다.

그 중에서도 아이템 기반을 선택한 이유는 다음과 같습니다.

유저 개인의 취향이 너무 다양하다. 그에 반해 리뷰를 남기는 맥주 수는 한정적이다.

따라서 아이템 기반으로 추천하는 것이 적절하다고 판단했습니다.

🎇데이터 정제하기

수집한 맥주 데이터에는 리뷰가 1개인 맥주들이 있습니다.

리뷰를 남긴 유저들도 마찬가지입니다.

이는 추천시스템의 성능을 저하시킬 수 있으므로

최소 10개 이상의 리뷰를 가진 맥주와 유저들만으로 이루어진 데이터셋을 구성합니다.

import pandas as pd import numpy as np from sklearn.metrics.pairwise import cosine_similarity from sklearn.metrics import mean_squared_error import warnings warnings.filterwarnings(‘ignore’) # n개 이상의 데이터 리뷰를 남긴 유저, 맥주를 걸러내는 함수 def preprocessing(data, n): min_id = data[‘아이디’].value_counts() >= n min_id = min_id[min_id].index.to_list() data = data[data[‘아이디’].isin(min_id)] min_beer = data[‘맥주’].value_counts() >= n min_beer = min_beer[min_beer].index.to_list() data = data[data[‘맥주’].isin(min_beer)] return data temp=tmp.copy() # 10번 반복합니다. for i in range(1,10): temp = preprocessing(temp, 10) print(temp.shape) temp.to_csv(‘정제된데이터.csv’, encoding=’utf-8′)

기존의 데이터는 7만6천개 정도였는데 4만5천개로 줄었습니다.

🍺맥주간 유사도 기반 추천

맥주간 유사도를 통해 비슷한 맥주를 추천하려고 합니다.

유사도 측정의 기준은 코사인 유사도와 피어슨 유사도를 고민했습니다.

피어슨 유사도는 너무 크거나 작은 값이 있을 경우 유사도에 크게 영향을 주는 경우 사용합니다.

EDA과정에서 이상치는 따로 존재하지 않았고

평점도 정규분포를 따르는 것을 확인했습니다.

따라서 코사인 유사도를 사용하려고 합니다.

정제된데이터 중 추천시스템 구현에 필요한 3개의 컬럼으로 매트릭스를 구성했습니다.

3개의 요소는 아이디, 맥주, 평점입니다.

data = pd.read_csv(‘정제된데이터.csv’, encoding=’utf-8′, index_col=0) ratings = data.copy() # 피벗 테이블을 이용해 유저-아이디 매트릭스 구성 ratings_matrix = ratings.pivot_table(‘평점’, index=’아이디’, columns=’맥주’) ratings_matrix.head(3) # fillna함수를 이용해 Nan처리 ratings_matrix = ratings_matrix.fillna(0) ratings_matrix

정제된 데이터

3개의 요소로 구성한 매트릭스

Shape은 2496 x 65입니다.

2496은 유저의 수, 65는 맥주의 수입니다.

맥주의 종류가 줄어든 이유는 10개 이상의 리뷰를 가진 맥주만 뽑아냈기 때문입니다.

그런데 현재 매트릭스는 유저 x 맥주에 대한 매트릭스입니다.

추천에 사용할 알고리즘은 아이템 기반 CF이므로 맥주 x 유저 매트릭스로 변환합니다.

# 유사도 계산을 위해 트랜스포즈 ratings_matrix_T = ratings_matrix.transpose() ratings_matrix_T

변환된 매트릭스

# 아이템-유저 매트릭스로부터 코사인 유사도 구하기 item_sim = cosine_similarity(ratings_matrix_T, ratings_matrix_T) # cosine_similarity()로 반환된 넘파이 행렬에 영화명을 매핑해 DataFrame으로 변환 item_sim_df = pd.DataFrame(data=item_sim, index=ratings_matrix.columns, columns=ratings_matrix.columns) print(item_sim_df.shape) item_sim_df.head(3)

계산된 코사인 유사도

65개의 맥주의 종류입니다.

ratings_matrix.columns

코젤 맥주, 호가든 맥주와 유사도가 높은 맥주 5개만 추천해보겠습니다.

# 코젤 맥주와 유사도가 높은 맥주 5개만 추출하기 item_sim_df[‘Kozel Černý (Dark) 10°’].sort_values(ascending=False)[:5]
# 호가든 맥주와 유사도가 높은 맥주 5개만 추출하기 item_sim_df[‘Hoegaarden’].sort_values(ascending=False)[:5]
👩🏼‍🤝‍🧑🏻개인화된 맥주 추천

위의 추천방식은 단순히 맥주간 유사도만으로 추천을 진행했습니다.

이번엔 개인의 평점이 반영된 추천시스템을 구현해보겠습니다.

# ratings_arr.dot(item_sim_arr)는 평점 * 맥주 유사도 # ratings_arr는 사용자 u의 아이템 i와 가장 유사도가 높은 Top_N개 아이템에 대한 실제 평점 벡터 # item_sim_arr는 아이템 i와 가장 유사도가 높은 Top_N개 아이템의 유사도 벡터 def predict_rating(ratings_arr, item_sim_arr): ratings_pred = ratings_arr.dot(item_sim_arr) / np.array([np.abs(item_sim_arr).sum(axis=1)]) return ratings_pred # 개인화된 예측 평점 구하기 # 평점 value와 유사도 value만 뽑아서 대입 ratings_pred = predict_rating(ratings_matrix.values, item_sim_df.values) ratings_pred_matrix = pd.DataFrame(data=ratings_pred, index=ratings_matrix.index, columns = ratings_matrix.columns) # 개인별로 계산된 예측 평점 ratings_pred_matrix

# 우리가 예측한 평점과 실제 평점간의 차이를 MSE로 계산 def get_mse(pred, actual): # 평점이 있는 실제 영화만 추출 pred = pred[actual.nonzero()].flatten() actual = actual[actual.nonzero()].flatten() return mean_squared_error(pred, actual) print(‘아이템 기반 모든 최근접 이웃 MSE: ‘, get_mse(ratings_pred, ratings_matrix.values))

🥈Top-N에 기반한 추천

MSE값을 더 낮추려면 특정 맥주와 가장 비슷한 N개의 맥주들만 유사도 계산에 사용해야합니다.

위의 방식은 모든 맥주들의 유사도 벡터를 사용했기 때문에 MSE값이 다소 낮습니다.

# 3개의 col까지만. 3개의 맥주에 대해서 유사도가 큰 5개 선택 top_n_items = [np.argsort(item_sim_df.values[:,3])[:-5:-1]] top_n_items

# 따라서 가장 비슷한 유사도를 가지는 맥주만 유사도 벡터로 사용 # 특정 맥주와 비슷한 유사도를 가지는 맥주 Top_N에 대해서만 적용 -> 시간오래걸림 def predict_rating_topsim(ratings_arr, item_sim_arr, n=20): # 사용자-아이템 평점 행렬 크기만큼 0으로 채운 예측 행렬 초기화 pred = np.zeros(ratings_arr.shape) # 사용자-아이템 평점 행렬의 맥주 개수만큼 루프 for col in range(ratings_arr.shape[1]): # 유사도 행렬에서 유사도가 큰 순으로 n개의 데이터 행렬의 인덱스 반환 top_n_items = [np.argsort(item_sim_arr[:, col])[:-n-1:-1]] # 개인화된 예측 평점 계산 : 각 col 맥주별(1개), 2496 사용자들의 예측평점 for row in range(ratings_arr.shape[0]): pred[row, col] = item_sim_arr[col,:][top_n_items].dot( ratings_arr[row, :][top_n_items].T) pred[row, col] /= np.sum(item_sim_arr[col,:][top_n_items]) return pred ratings_pred = predict_rating_topsim(ratings_matrix.values, item_sim_df.values, n=10) print(‘아이템 기반 최근접 TOP-N 이웃 MSE: ‘, get_mse(ratings_pred, ratings_matrix.values)) # 계산된 예측 평점 데이터는 DataFrame으로 재생성 ratings_pred_matrix = pd.DataFrame(data=ratings_pred, index=ratings_matrix.index, columns=ratings_matrix.columns) ratings_pred_matrix

MSE 값이 감소했고 예측 행렬 값도 변했습니다.

🙎‍♂️실제 사용자에게 추천하기

사용자 아이디와 평점이 주어진 상황에서 맥주 3개를 추천해주겠습니다.

예시로는 이미 행렬에 존재하는 user 정보를 사용했습니다.

# username=’snoworsummer(8,581)’ username=’007lund(92)’ # 특정 유저 대상으로 맥주추천 user_rating_id = ratings_matrix.loc[username, :] # 유저가 먹었던 맥주들 출력 user_rating_id[user_rating_id > 0].sort_values(ascending=False)[:10]
사용자가 먹어본 맥주는 제외하겠습니다.

# 사용자가 안 먹어본 맥주를 추천하자. def get_not_tried_beer(ratings_matrix, userId): # userId로 입력받은 사용자의 모든 맥주 정보를 추출해 Series로 반환 # 반환된 user_rating은 영화명(title)을 인덱스로 가지는 Series 객체 user_rating = ratings_matrix.loc[userId, :] # user_rating이 0보다 크면 기존에 관란함 영화. # 대상 인덱스를 추출해 list 객체로 만듦 tried = user_rating[user_rating>0].index.tolist() # 모든 맥주명을 list 객체로 만듦 beer_list = ratings_matrix.columns.tolist() # list comprehension으로 tried에 해당하는 영화는 beer_list에서 제외 not_tried = [beer for beer in beer_list if beer not in tried] return not_tried # 예측 평점 DataFrame에서 사용자 id 인덱스와 not_tried로 들어온 맥주명 추출 후 # 가장 예측 평점이 높은 순으로 정렬 def recomm_beer_by_userid(pred_df, userId, not_tried, top_n): recomm_beer = pred_df.loc[userId, not_tried].sort_values(ascending=False)[:top_n] return recomm_beer # 유저가 먹지 않은 맥주이름 추출 not_tried = get_not_tried_beer(ratings_matrix, username) not_tried

최종적으로 아이템 기반의 최근접 이웃 CF로 맥주 추천을 진행합니다.

# top_n과 비슷한 맥주만 추천에 사용 ratings_pred = predict_rating_topsim(ratings_matrix.values, item_sim_df.values, n=5) # 계산된 예측 평점 데이터는 DataFrame으로 재생성 ratings_pred_matrix = pd.DataFrame(data=ratings_pred, index=ratings_matrix.index, columns=ratings_matrix.columns) # 유저가 먹지 않은 맥주이름 추출 not_tried = get_not_tried_beer(ratings_matrix, username) # 아이템 기반의 최근접 이웃 CF로 맥주 추천 recomm_beer = recomm_beer_by_userid(ratings_pred_matrix, username, not_tried, top_n=3) recomm_beer = pd.DataFrame(data=recomm_beer.values, index=recomm_beer.index, columns=[‘예측평점’]) recomm_beer

개인의 평점이 반영된 맥주는 오차값이 큰 편입니다.

성능을 최적화하거나 단순 맥주 기반의 유사도 추천으로 가야할 것 같습니다. 🤦‍♂️

키워드에 대한 정보 추천 알고리즘 구현

다음은 Bing에서 추천 알고리즘 구현 주제에 대한 검색 결과입니다. 필요한 경우 더 읽을 수 있습니다.

이 기사는 인터넷의 다양한 출처에서 편집되었습니다. 이 기사가 유용했기를 바랍니다. 이 기사가 유용하다고 생각되면 공유하십시오. 매우 감사합니다!

사람들이 주제에 대해 자주 검색하는 키워드 추천 시스템 Recommender System

이수안
컴퓨터
연구소
SuanLab
데이터 과학
Data Science
머신러닝
Machine Learning
기계학습
추천 시스템
Recommender System
컨텐츠 기반 필터링
Content-based Filtering
협업 필터링
Collaborative Filtering
SVD
SVD++
NMF

추천 알고리즘 구현 | 추천 시스템 Recommender System 21016 좋은 평가 이 답변

추천 알고리즘 구현 주제에 대한 동영상 보기

d여기에서 추천 시스템 Recommender System – 추천 알고리즘 구현 주제에 대한 세부정보를 참조하세요

추천 알고리즘 구현 주제에 대한 자세한 내용은 여기를 참조하세요.

추천 알고리즘 구현하기 (User-based Collaborative Filtering)

상품(콘텐츠) 추천 기능 구현하기: (3) 고객 취향 사로잡기 | 뷰저블

파이썬으로 추천 시스템 구현하기(Python recommender system)

추천 알고리즘(Recommendation Algorithm)이란?

딥러닝을 활용한 추천시스템 구현 올인원 패키지 Online.

맥주 추천시스템 구현 – 5. CF 기반 추천시스템 구현

추천 알고리즘 구현하기 (User-based Collaborative Filtering)

추천 시스템 1 — 기본 개념과 콘텐츠 기반 추천 구현 – 김희규

주제와 관련된 이미지 추천 알고리즘 구현

주제에 대한 기사 평가 추천 알고리즘 구현

포트폴리오를 위한 추천 알고리즘 구현 [2장] : Scikit-Surprise

추천 알고리즘 구현하기 (User-based Collaborative Filtering)

상품(콘텐츠) 추천 기능 구현하기: (3) 고객 취향 사로잡기

꿈 많은 사람의 이야기

추천 알고리즘(Recommendation Algorithm)이란?

딥러닝을 활용한 추천시스템 구현 올인원 패키지 Online.

맥주 추천시스템 구현 – 5. CF 기반 추천시스템 구현

추천 알고리즘 구현하기 (User-based Collaborative Filtering)

키워드에 대한 정보 추천 알고리즘 구현

사람들이 주제에 대해 자주 검색하는 키워드 추천 시스템 Recommender System

Leave a Comment Cancel reply