발표내용 정리

collaborative filtering의 아쉬운 점 추천 : 기존에 선택된 이미지들만 추천이 된다.

→ 이를 bandit을 통해 해결해보자

Bandit setting의 요소들

Environment : 넷플릭스 홈페이지

Learner(policy) : artwork selector

Action : learner의 선택으로 display한 image

Reward : action을 통해 얻어진 member의 반응(engagement)(여기서는 click or non-click)

Common strategy

- Epsilon greedy

- Upper Confidence Bound

- Thompson Sampling

온라인 광고 시장은 굉장히 역동적이다. 실시간으로 어떤 광고를 송출해야할지 결정해야하기 때문이다.

광고는 광고주가 인벤토리에 따라 일정 클릭 수만큼 광고비를 지불한다. (CPC 방식이라고 부른다) * CPC : cost-per-click

이 때 한정된 인벤토리 내 최대의 성과를 낼 수 있는 광고를 선택해야만 한다.

기존에 집행해본 경험이 있는 광고와, 그렇지 않은 신규 광고 사이에서 어떤 광고를 보내야할지 결정한다.

여기서 Bandit 문제가 접목된다. 전자는 Exploitation, 후자는 Exploration이다.

이 논문은 온라인 광고에서의 EE(Exploitation vs Exploration) 전략을 취하는 알고리즘을 소개한다.

광고에서는 DA(Display Ads), 검색광고와 contextual 광고, 세 가지 타입이 있다.

논문은 그 중에서도 Contextual ad에 중점을 두고 있다.

앞서 살펴보았듯이 광고가 CPC 방식일 경우 광고 플랫폼은 수익을 최대화하기 위해 매번 인기있는 광고만을 걸게 된다.

논문에서는 이를 'Matthew effect'라고 하는데, 빈익빈 부익부처럼 기존에 걸어본적 있는 광고만이 계속 게재된다는 것이다.

하지만 광고 시장은 역동적이기 때문에 새로운 광고 컨텐츠가 지속적으로 유입된다.

이 상황에서 이러한 문제를 풀지 않을 경우 아래와 같은 문제들이 발생한다.