추천시스템 평가 지표 - Top-N 적중률 : Hit rate(적중률), Leave-one-out cross validation, ARHR(평균 상호 적중률), cHR(누적 적중률), rHR(평점 적중률)

---

Hit rate (적중률)

• 사용자의 순위 추천들 중 실제로 평가한 한 추천이 있다면, hit이라고 함.
• 모든 사용자에 대한 순위 추천 속의 모든 적중을 더하고, 사용자수로 나눈 것

 

$$hit rate = {hits\over users} $$

 

 

Leave-one-out cross validation

• 적중률의 측정 방법(사용자 중심)
• 훈련 데이터 속 각 사용자에 대한 순위 추천을 계산하고, 의도적으로 사용자의 훈련 데이터에서 하나를 제외하는 것
• 추천 시스템이 테스트 단계에서 사용자를 위해 생성한 순위 리스트에 제외된 항목이 포함되었는지 검증
• 훈련 데이터에서 제외된 각각의 사용자에 대한 순위 목록에 있던 항목을 추천하는 능력을 측정
• 총 샘플 N번에 대한 모델을 만들고 각 모델을 만들 때 하나의 샘플만 제외하면서 그 제외한 샘플로 테스트 성능을 계산하여 총 N개의 성능 평균을 내는 방법

 

 

 

ARHR(평균 상호 적중률, Average Reciprocal Hit Rate)

• 적중률에 대한 분산
• 측정법은 적중률과 같은데, hit이 나타나는 최상위 목록을 설명
• 사용자 순위의 하위보다 상위에 평가한 항목을 추천하면 더 많은 credit을 얻음.
• 사용자들은 목록의 시작부분에 집중하기 때문에 Leave one out cross validation 보다 더 사용자 중심의 측정법임.
• hit 수를 더하는 대신 각 hit의 상호 순위를 더하여 더 높은 순위에는 더 높은 reciprocal rank를 부여
• 추천 시스템이 사용자의 평점을 높게 받은 영화 목록 안에서 영화를 추천하는지 능력을 측정하고, 그 영화가 우선 추천 목록 근처에 나타나면 그 영화를 먼저 추천함

 

rank	reciprocal rank
3	1/3
2	1/2
1	1

 

$$ARHR = {\displaystyle \sum_{i=1}^n {1\over rank_i} \over users}$$

 

 

 

 

cHR(누적 적중률, cumulative Hit Rate)

• 예상한 평점이 어떤 한계치 아래에 있다면 hit를 버리는 것
• 실제로 별로라고 생각하는 사용자에게 추천한 항목에서 신뢰를 얻으면 안되기 때문.
• 실제 관찰된 평점에 기반한 추천을 걸러내는 것

 

hit rank	predicted(or actual) rating
4	5.0
2	3.0
1	5.0
10	2.0

 

• 위 예시에서 특정 임계값(4.0) 미만 등급을 제외함

 

 

 

rHR(평점 적중률, rating Hit Rate)

• 실제로 추천되는 영화의 품질에 대한 아이디어를 얻는 방법
• 사용자는 실제로 선호되는 영화를 추천받길 원함.
• 어떤 등급이 더 많은 조회수를 얻는지 찾기 위해 각 등급에 대한 등급 점수 계산. 상위 N개의 목록의 각 등급 유형에 대한 조회수를 합산하고, 상위 N개의 목록의 각 등급 항목의 총 수로 나누는 방법.

 

rating	hit rate
5.0	0.001
4.0	0.004
3.0	0.030
2.0	0.001
1.0	0.0005

 

 

참고 사이트

• 강의-머신러닝&AI로 추천시스템 구축하기(Udemy)
• 추천 시스템 소개

Introduction to recommender systems

• Leave-One-Out Cross-Validation

Leave-One-Out Cross-Validation | Jacob's Coding Playground

---