추천시스템 - Metrics and DEVIEW 2017,2020

1. 성능평가지표에는 무엇이 있나? 

[ROC, AUC] 1종오류, 2종오류간 tradeoff를 각색해서 만든 지표가 precision(sensitivity)과 specificity임. Threshold가 변경됨에 따라 ROC값이 변함 ( multi-classifier는 one-the-other처럼 binary방식으로 바꿔서 성능평가 가능 ) 

 https://koreapy.tistory.com/897

https://heeya-stupidbutstudying.tistory.com/entry/ML-%EB%AA%A8%EB%8D%B8-%ED%8F%89%EA%B0%80%EC%A7%80%ED%91%9C-%EC%98%A4%EC%B0%A8%ED%96%89%EB%A0%AC-PRC-ROC-AUC

[F-scrore] data imbalance한 경우, accuracy보다 robust한 지표

= precision과 recall의 조화평균

https://deepai.org/machine-learning-glossary-and-terms/f-score

ROC커브와 AUROC 완벽 이해하기

2. 추천시스템의 성능평가 지표 : https://sungkee-book.tistory.com/11?category=981328 

[추천시스템] 성능 평가 방법 - Precision, Recall, NDCG, Hit Rate, MAE, RMSE

3. 추천시스템 DEVIEW 2020

1) [그래프 모델과 인과관계] https://tv.naver.com/v/16970750

추천시스템 3.0: 딥러닝 후기시대에서 바이어스, 그래프, 그리고 인과관계의 중요성

2) [CF모델 개선기] https://tv.naver.com/v/16968206

당신 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀

3) 네이버 AiRS 개발하기 2017 - 시스템 중심 https://tv.naver.com/v/2297146

Day2, 3-6. 인공지능 추천 시스템 AiRS 개발기: 모델링과 시스템

4) 네이버 AiRS 개선하기 2020 - 총정리 https://tv.naver.com/v/16968202

뭐볼까? : 네이버 AiRS 인공지능 콘텐츠 추천의 진화