모두의연구소 LAB

해당 논문은 Conditional GAN이라는 논문을 소개하고 있다. 간단하게 y라는 데이터를 추가하므로써 내가 원하는 데이터를 생성하는 것이 이 논문의 핵심이다. 기존의 GAN은 데이터가 생성되는데에 통제권이 없었다. 이뜻은 무엇일까? MNIST dataset을 기준으로 잡고 이야기 하자면, 내가 숫자 7 이미지를 원한다고 해서 모델이 7 이미지를 만들어주지 않는다는 이야기다.

그렇다면 왜, GAN은 왜 우리가 원하는데로 이미지를 생성해주지 않는걸까? 그 이유는 GAN은 라벨의 정보를 가지고 학습하는 것이라, 데이터 분포를 학습하기 때문이다.

즉, 라벨에 대해 잘 모르지만서도 1일 1답게 하는 데이터 분포를 학습하기 때문이다. 그렇다면, 우리가 원하는 데이터를 만들어주는 GAN을 만들려고 하면 어떻게 해야댈까? 라벨에 대해 잘 모르는 같으니, y라는 특정한 정보 y(라벨)을 넣어준다면, 분포와 함께 우리가 원하는데로 만들어 주지 않을까? 이렇게 데이터를 우리가 원하는데로 제어하는 모델을 conditional GAN 이라고 한다.

요점은 아래와 같다.

수식은 GAN이랑 크게 다르지 않다.

ㄹㄹ

모두의연구소의 LAB을 대표하여 EO 촬영을 진행했습니다.

이 논문은 Contemporary neural networks still fall short of human-level generalization 이라는 문장으로 시작한다. human-level generalization이라는 키워드에 관심이 없는 분이라면 수식하나 없는 이 논문에서 크게 건질것이 없을지도 모른다.

물론 딥러닝은 쓸만하다. 놀라울 때도 가끔 있다. 그러나 여전히 충분히 만족스럽지 않다면 그 근본적인 원인은 무엇일까? 이 논문의 저자들은 이 근본적인 원인을 Binding Problem 이라고 정의한다.

딥러닝은 Connectionist(연결주의자)들의 산물이다. 이 방법이 가진 단점은 네트워크상에 분포한 정보(information)를 symbolic한 방법으로 연결(bind)지어 내지 못한다는 점이다.

그러나, 저자들의 아래 주장에 따르면, symbol manipulation process야말로 인간수준 지능의 가장 핵심적 요소이다.

이것이 왜 중요할까? 인간지능의 핵심은 기존의 지식을 결합(composition)하여 이전에 보지 못한 데이터에 대해서도 추론을 해낸다는 점이다. 그러려면 개념(구체적이든, 추상적이든) 정보를 재활용할 수 있어야 하는데, 연결주의적 관점으로는 네트워크 상 어딘가 존재하는 개념을 콕 찍어서 재활용하기가 매우 어렵다. 이런 어려운 점을 binding problem이라고 하는데, 이 문제를 해결하려면 다음 3가지가 가능해야 한다.

1)Segregation : ability to form(separate) meaningful entities from unstructured sensory inputs

> 어떤 개념을 그것과 그것이 아닌것 사이의 경계를 찾아 구별해 낼수 있어야 한다.

내 안드로이드폰이 강화학습을 위한 environment가 되게 해 주는 멋진 플랫폼이 나왔다니!! 역시 딥마인드!!

AndroidEnv라는 이름을 보자마자 무릎을 탁 치게 되었다. 게임 밖의 현실 세계에 적용하기가 너무나 어렵던 강화학습이 내 손안에 잡히는 구체적인 현실 문제에 적용 가능해 지는 무한한 가능성이 상상되지 않는가?

하지만 흥분은 잠시, 5초만에 몇가지 의문점들이 밀려온다.

강화학습이라고? environment가 게임이 아니라면 reward는 어떻게 정의하지?

그리고 action과 observation은 어떻게 정의되는 거지? agent는 사람처럼 행동하는 건가? 아니면 정말 마블의 자비스나 her의 사만다 같이 사람과 interaction할 수 있는 강화학습 agent를 만들 수 있는 건가?

결론부터 얘기하자면, AndroidEnv는 OpenAI Universe같이 강화학습 agent를 다양한 task에 최적화되도록 훈련시킬 수 있는 범용 environment platform이다. 정말 대강 후려쳐 정리하자면 OpenAI Universe같은 것을 Android 환경에서 돌릴 수 있게 한 것인데, 그렇기 때문에 훨씬 실용적일 수 있고, 모바일이라는 UI특성 때문에 action space가 터치스크린 이벤트 방식으로 구현되어 있다 정도의 차이가 있다. (하지만 논문을 읽어보면 행간에 많은 고민들이 녹아 있음을 알수 있다)

그럼 AndroidEnv를 소개한 논문을 흐름에 따라 눈에 띄는 점만 정리하면서 이것의 의미를 좀더 생각해 보자.

발표자료를 첨부합니다.

KDD'16 paper, Standford

Traditionals → node embeddings → GNNs → Knowledge graphs → Deep Generative graph models

collaborative filtering의 아쉬운 점 추천 : 기존에 선택된 이미지들만 추천이 된다.

→ 이를 bandit을 통해 해결해보자

Bandit setting의 요소들

Environment : 넷플릭스 홈페이지

Learner(policy) : artwork selector

Action : learner의 선택으로 display한 image

Reward : action을 통해 얻어진 member의 반응(engagement)(여기서는 click or non-click)

Common strategy

- Epsilon greedy

- Upper Confidence Bound

- Thompson Sampling

GPT-2는 2019년에 등장한 모델이고 지금의 GPT-3 모델이 나올 수 있게 될 수 있는 근간에 대한 내용이 담겨져 있습니다. GPT-1과 다르게 GPT-2에서는 “Language Models are Unsupervised Multitask Learners”라는 제목으로 언어 모델로 여러 가지 언어 테스크를 할 수 있는 모델로 소개가 되어있는데 당시에 어떤 생각을 가지고 지금의 GPT-3가 나올 수 있었는지 살펴보도록 하겠습니다.

GPT-2 모델은 내용을 주장하고 만들어졌습니다.

이렇게 이야기할 수 있는 것은 다음의 원문에 이렇게 나와있습니다.

말인 즉슨, “unsupervised objective를 가지고 모델학습을 하면 supervised objective에 대해서도 만족한다.” 정도로 설명할 수 있을것 같습니다.

논문에서는 이를 가정하고 만든 GPT-2 모델을 통해 언어를 추론하고 NLP 테스크를 설명을 통해 수행할 수 있는 가능성을 확인하고자 했습니다.

제안하는 GPT-2 모델에서는 여러가지 NLP 테스크가 가능해야 합니다. 그렇기 때문에 단순 텍스트 입력만 들어가는 것이 아니라 테스크에 대한 정보도 같이 들어갈 수 있어야 합니다. 만약에 모델에 입력한다면 (테스크 설명, 입력, 출력) 형태로 해서 (번역, 한국어 입력, 영어 출력) 또는 (QA, 컨텍스트, 질문, 답) 이렇게 작성을 할 것입니다. 논문의 예시로 보면 다음과 같이 볼 수 있겠습니다.

예시는 WebText 학습 데이터 셋에서 영어에서 프랑스어로 변환되는 내용입니다. 모델에서 실험을 할 때는 위와 같이 앞에서 번역하고자 하는 문구를 입력하고 “wrote in French”나 “French:”, “English:”와 같이 표기를 해서 변역된 문구가 생성되는 것을 기대할 것입니다.

FaceShifter는 high fidelity(충실도)와 occlusion한 2-stage face swap framework이다. 기존 방법들은 target image로부터 제한된 정보로만 동작하는 단점이 있다. FaceShifter는 대상 속성(target attributes)에 철저하게 적응하도록 활용하고 통합하여 high-fidelity한 변환된 얼굴을 생성한다. 저자는 다중 레벨 대상 얼굴 속성을 추출하기 위한 새로운 속성 인코더(attributes encoder)를 제안한다. 그리고 얼굴 합성을 위해 정체성(identity)과 속성(attributes)을 적응적으로 통합하기 위해 AAD(Adaptive Attentional Denormalization) layer를 이용한 Generator를 제안한다. Challenging facial occlusions을 해결하기 위해 2-stage로 구성된 HEAR-Net(Heuristic Error Acknowledging Refinement Network)를 제안한다. Manual annotation 없이 self-supervised 방식으로 anomaly regions을 복구하도록 학습되었다. Wild face들에 대한 광범위한 실험은 타 SOTA 방법들과 비교하여 FaceShifter가 더 지각적으로 매력적이고 정체성을 유지함을 보인다.

Face swapping은 target image의 attributes(머리 자세(head pose), 얼굴 표정, 빛, 배경)를 보존하면서, target image의 identity를 source image 속 사람의 identity로 대체하는 작업이다. 쉽게 말해 target image의 얼굴을 source image의 사람 얼굴로 바꾸는 작업이다. Face swapping은 movie comparison, computer game, privacy protection 분야에서 잠재적 활용성이 높아 각광받고 있다.

Face swapping의 어려운 점은 두 이미지에서 identity와 attributes를 어떻게 추출하고 적응적으로 재조합 할것인가 이다. 초기 replacement-based works은 간단하게 안쪽 얼굴영역의 pixel만 대체했다. 그래서 자세와 원근법의 변화에 민감하다. 3D-based works은 자세와 원근법 차이를 다루기 위해 3D 모델을 사용한다. 하지만 3D 얼굴 구조의 정확성과 강건성이 모두 만족스럽지 못하다. 최근 GAN-based works는 인상적인 좋은결과를 보여준다. 그러나 realistic 하고 high-fidelity한 생성은 여전히 challenging 하다.

본 논문은 face swapping의 fidelity를 향상시키는데 집중했다. 더 지각적으로 매력적(perceptually appealing)인 결과를 만들기 위해 생성된 swapped face는 target face의 자세와 표정을 공유하고, 불일치 없이 균일하게 target image에 fitting해야 한다. Swapped face의 rendering은 빛의 방향, 강도, 색깔에 충실해야 한다. 그리고 swapped face의 pixel resolution은 target image resolution과 일치해야 한다. 이는 간단한 alpha와 Poisson blending으로 해결될 수 없다. Swapped face의 생성할 때 target image attributes의 철저하고 적응적인 통합은 target image의 attributes(scene lighting, image resolution)는 realistic한 swapped face를 만드는데 도움이 될 수 있다.

그러나 기존 FS 방법은 이런 통합의 필요를 무시하거나 철저하고 적응적인 방법으로 수행하는 능력이 부족했다. 특별히, 많은 이전 방법들은 swapped face를 생성하기 위해 target image로 부터 오직 자세와 표정 가이드만 사용하고 target face의 마스크를 이용하여 blend 한다. 이 과정은 artifacts를 야기하기 쉽다. Swapped face를 생성할 때, 자세와 표정 뿐만 아니라, target image에 대하여 지식을 거의 활용하지 못한다. 이는 scene lighting이나 image resolution 같은 target attributes를 거의 존중할 수 없다. 그래서 이 방법들은 source image 얼굴의 정체성을 보존하지 못한다. 아래 그림은 전형적인 실패 사례 이다.

위 그림은 FaceForensics++ dataset에 대한 이전 방법들의 실패 사례 이다. FaceSwap 방법은 inner face region을 생성한 후 target face에 섞는 하는 방법이다. 이러한 전략은 artifacts가 생성되기 쉽다.

반면 FaceShifter는 이러한 문제가 없다.

아래 그림과 같이 3D의 얼굴 형상을 Scan하여 남성100명 여성100명 총200명에 대한 형상 정보를 기록한 DB가 존재한다.이 데이터를 seed로 하여 각 데이터셋간의 선형 조합으로 모든 사람의 얼굴을 표현하고자 한다.

3차원 공간에 n개의 landmark point를 통해 얼굴을 표현하며 shape vector S와 색감을 표현하기 위한 texture vector T가 존재한다.각 얼굴에는 약 7만개 point가 존재하며 각 포인트는 XYZ로 표현한다. 그러므로 shape vector는 약 3X70k = 210k개의 차원을 가진 벡터가 되고,texture vector 역시 하나의 포인트를 표현하는데 RGB가 필요하도록 되어있어 동일하게 210k개의 차원을 가진 벡터가 된다.

이때, m명의 사람(m exemplars)를 조합하여 새로운 모델을 표현하는 morphable model을 구성하면 아래와 같이 나타낼 수 있다.

여기서 ai는 shape vector에 대한 계수, bi는 texture vector에 대한 계수이다. 그리고 m개의 exemplars에 대한 각 계수의 합은 1이다.Si, Ti는 각각 한개의 exemplar에 대한 데이터를 의미한다. 결국, 모델이 표현하는 바는 weighted sum을 통해 얼굴을 표현하는 것이다.

선형결합을 통해 생성한 얼굴은 이상한 모습을 할 수 있기 때문에 그럴듯함(plausibility)를 정량화 하여 표현해야 한다.이는 예제 얼굴 세트의 파라미터 확률분포 추정하고 이 추정된 파라미터의 확률분포에 대해 새롭게 생성된 얼굴의 파라미터 조합이추정분포에 가깝게 만들어졌는지를 한다. 즉, exmaplar에 대한 파라미터 최적화를 수행하고 최적화된 파라미터의 분포를 사전확률분포 p(a), p(b)라 하면 새 얼굴에서 우리가 얻은 파라미터 a, b의 조합이 prior에 가까운지 평가하여 그럴듯함을 평가할 수 있다는 것이다.즉, 추정 분포에서 멀어질 수록 그럴듯한 얼굴이 아니게 되는 것이다.(확률분포에 대한 설명은 생략)

위 모델을 통해 plausibility를 고려하여 새로운 얼굴을 생성할수 있지만, 차원의 문제가 존재한다.S와 V가 210k개의 차원을 가진다고 했기 때문에 해당 vector에 대해서 최적의 얼굴 조합을 찾는 일은 계산량이 매우 큰 문제이다.이때문에 논문에서는 PCA를 사용한것 같다. m개의 exemplar에 대하여 한번에 PCA를 수행하여 저차원의 PCA component vector를 생성하고 이들의 결합으로 새로운 얼굴을 표현하는 새로운 모델을 아래와 같이 표현할 수 있다.

여기서 Sbar, Tbar는 모든 exemplar의 평균이 되는 PC component이며 이 값에 shape PC component vector si texture PC component vector ti 각각에 대한 alpha, beta의 조합으로 모델이 구성된다. (참고로 생성된 Smodel, Tmodel은 PCA 계산시 얻어진 kernel을 곱하여 다시 역변환을 수행하며 이때 210k -> 3 차원 차이가 dramatic하게 존재하므로 비가역적 정보손실이 발생하여 품질 저하가 있을것으로 예상된다.

본 LAB의 활동은 후배 사업자가 볼 수 있도록 블로그 또는 책으로 출간할 예정입니다.

연구원 여러분 안녕하세요.

Rocket UP 랩짱을 맡은 모두의연구소 김승일 대표입니다. 드디어 오늘 첫만남을 가지겠네요.

로켓업은 대표님들의 경험을 서로 나누고  각자의 사업에 맞게 변형하여 사용해 볼 수 있는 지식 나눔의 장입니다.

참여하시는 연구원 대표님들의 회사 규모나 창립시기가 모두 다르고, 그에 따라 고민하는 포인트들이 많이들 다르실 것입니다. 그리고, 그에 따라 적합한 솔루션도 모두 다를 것으로 생각합니다. (가령, 10명 규모의 회사와 50명 규모의 회사에서 생각하는 조직문화는 전혀 다를 것입니다.) 그래서 하나의 optimum solution을 찾기 보다는 서로의 생각을 공유하며 스스로 적합한 솔루션을 찾아가는 것을 Rocket UP 랩의 목표로 생각하고 있습니다.

운영방식은 다음과 같습니다.

(1) 저를 포함 11명의 대표 연구원님은 소주제별로 질의응답 포함 3~10분씩 정해진 주제에 대해 회사에서 어떤 식으로 실행하고 있는지 설명을 합니다. 이 때 발표자료를 준비하실 필요는 없으나, 회사내에서 사용하고 있는 template 등을 공유해 주시는 것을 추천합니다. (template에 들어갈 내용이 confidential 이라면 빈 template 만으로 설명해주셔도 좋습니다. 가령 모두의연구소는 일의 우선순위를 정할 때 사용자 스토리 보드를 만들어서 사용하고 있습니다. 아래와 같은 template을 사용하고 있는데요. 이런 template을 보여주면서, 왜/어떻게 이런 template을 사용하고 있고, 어떤 장단점이 있는지 등에 대해 소개해주시면 되겠습니다.

(2) 모임종료 전, 다음주에 논의할 소주제들을 구체적으로 결정합니다.

(3) 다음주 모임 전까지 주제에 맞게 서로 공유할 내용을 정리해서 오시면 되겠습니다!

(4) 종종 추천 도서가 있습니다. 해당 도서는 자율적으로 읽고 오셔서 괜찮았던 내용이 있다면 서로 공유하는 자리를 가지도록 하겠습니다.

(5) 위 룰은 진행하면서 바뀔 수 있습니다. 린하게 출발하는 게 스타트업스럽자나요 :)