모두의연구소 LAB

KDD'17

(SIGKDD Conference on Knowledge Discovery and Data Mining)

metapath2vec | Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining

Abstract

word2vec → node2vec (homogeneous) → metapath2vec (heterogeneous)

Metapath-based word2vec method

Background: Heterogeneous Graph

Mining Heterogeneous Information Networks: A Structural Analysis Approach (KDD'12)

Heterogeneous Graph?

The graph where the number of types of nodes and their relations are more than 1

Schema & Network

Metapath

이 논문은 Contemporary neural networks still fall short of human-level generalization 이라는 문장으로 시작한다. human-level generalization이라는 키워드에 관심이 없는 분이라면 수식하나 없는 이 논문에서 크게 건질것이 없을지도 모른다.

물론 딥러닝은 쓸만하다. 놀라울 때도 가끔 있다. 그러나 여전히 충분히 만족스럽지 않다면 그 근본적인 원인은 무엇일까? 이 논문의 저자들은 이 근본적인 원인을 Binding Problem 이라고 정의한다.

Binding Problem

딥러닝은 Connectionist(연결주의자)들의 산물이다. 이 방법이 가진 단점은 네트워크상에 분포한 정보(information)를 symbolic한 방법으로 연결(bind)지어 내지 못한다는 점이다.

그러나, 저자들의 아래 주장에 따르면, symbol manipulation process야말로 인간수준 지능의 가장 핵심적 요소이다.

Integrating symbolic processing into neural networks is of fundamental importance for realizing human-level AI

이것이 왜 중요할까? 인간지능의 핵심은 기존의 지식을 결합(composition)하여 이전에 보지 못한 데이터에 대해서도 추론을 해낸다는 점이다. 그러려면 개념(구체적이든, 추상적이든) 정보를 재활용할 수 있어야 하는데, 연결주의적 관점으로는 네트워크 상 어딘가 존재하는 개념을 콕 찍어서 재활용하기가 매우 어렵다. 이런 어려운 점을 binding problem이라고 하는데, 이 문제를 해결하려면 다음 3가지가 가능해야 한다.

1)Segregation : ability to form(separate) meaningful entities from unstructured sensory inputs

> 어떤 개념을 그것과 그것이 아닌것 사이의 경계를 찾아 구별해 낼수 있어야 한다.

내 안드로이드폰이 강화학습을 위한 environment가 되게 해 주는 멋진 플랫폼이 나왔다니!! 역시 딥마인드!!

AndroidEnv라는 이름을 보자마자 무릎을 탁 치게 되었다. 게임 밖의 현실 세계에 적용하기가 너무나 어렵던 강화학습이 내 손안에 잡히는 구체적인 현실 문제에 적용 가능해 지는 무한한 가능성이 상상되지 않는가?

하지만 흥분은 잠시, 5초만에 몇가지 의문점들이 밀려온다.

강화학습이라고? environment가 게임이 아니라면 reward는 어떻게 정의하지?

그리고 action과 observation은 어떻게 정의되는 거지? agent는 사람처럼 행동하는 건가? 아니면 정말 마블의 자비스나 her의 사만다 같이 사람과 interaction할 수 있는 강화학습 agent를 만들 수 있는 건가?

결론부터 얘기하자면, AndroidEnv는 OpenAI Universe같이 강화학습 agent를 다양한 task에 최적화되도록 훈련시킬 수 있는 범용 environment platform이다. 정말 대강 후려쳐 정리하자면 OpenAI Universe같은 것을 Android 환경에서 돌릴 수 있게 한 것인데, 그렇기 때문에 훨씬 실용적일 수 있고, 모바일이라는 UI특성 때문에 action space가 터치스크린 이벤트 방식으로 구현되어 있다 정도의 차이가 있다. (하지만 논문을 읽어보면 행간에 많은 고민들이 녹아 있음을 알수 있다)

그럼 AndroidEnv를 소개한 논문을 흐름에 따라 눈에 띄는 점만 정리하면서 이것의 의미를 좀더 생각해 보자.

I. Introduction

DETR.ppt

발표자료를 첨부합니다.

KDD'16 paper, Standford

Brief Introduction

For now, traditional & typical node embedding technique

Propose graph feature learning approaches

Background

Problems in Graph

Node classification (node-level task)

Link prediction (link-level task)

Graph classification (graph-level task)

Node Embedding in Graph

A mapping of nodes to a low-dimensional space of features

Traditionals → node embeddings → GNNs → Knowledge graphs → Deep Generative graph models

Conventional method (Linear algebraic approach)

PCA (Principal Component Analysis)

목표

mab 문제정의 이해

bandit 알고리즘 기본 이해

학습 자료

Reinforcement Learning: An Introduction(chap 2) - Sutton

solutions

iamhectorotero/rlai-exercises

랩업 자료

BRS_LAB_Week4_define_mab_problem_2.pdf

학습 자료

Recent Trends in Personalization: A Netflix Perspective

Recent Trends in Personalization: A Netflix Perspective

발표 자료

BRS_OT_이혜진pdf.pdf

collaborative filtering의 아쉬운 점 추천 : 기존에 선택된 이미지들만 추천이 된다.

→ 이를 bandit을 통해 해결해보자

Bandit setting의 요소들

Environment : 넷플릭스 홈페이지

Learner(policy) : artwork selector

Action : learner의 선택으로 display한 image

Reward : action을 통해 얻어진 member의 반응(engagement)(여기서는 click or non-click)

Common strategy

- Epsilon greedy

- Upper Confidence Bound

- Thompson Sampling

GPT-2

GPT-2는 2019년에 등장한 모델이고 지금의 GPT-3 모델이 나올 수 있게 될 수 있는 근간에 대한 내용이 담겨져 있습니다. GPT-1과 다르게 GPT-2에서는 “Language Models are Unsupervised Multitask Learners”라는 제목으로 언어 모델로 여러 가지 언어 테스크를 할 수 있는 모델로 소개가 되어있는데 당시에 어떤 생각을 가지고 지금의 GPT-3가 나올 수 있었는지 살펴보도록 하겠습니다.

소개

GPT-2 모델은 내용을 주장하고 만들어졌습니다.

여러 NLP 테스크에 대해서 각각의 데이터셋과 모델을 만들어 해결하는 것이 lack of generalization 이다.

각 테스크에 대해서 데이터셋을 만들지 않고 하나의 모델에서 해결할 수 있는 general system을 지향한다.

하나의 언어 모델이 zero-shot으로 down-stream 테스크를 모델 파라메터 수정없이 하도록 한다.

이렇게 이야기할 수 있는 것은 다음의 원문에 이렇게 나와있습니다.

말인 즉슨, “unsupervised objective를 가지고 모델학습을 하면 supervised objective에 대해서도 만족한다.” 정도로 설명할 수 있을것 같습니다.

논문에서는 이를 가정하고 만든 GPT-2 모델을 통해 언어를 추론하고 NLP 테스크를 설명을 통해 수행할 수 있는 가능성을 확인하고자 했습니다.

접근

제안하는 GPT-2 모델에서는 여러가지 NLP 테스크가 가능해야 합니다. 그렇기 때문에 단순 텍스트 입력만 들어가는 것이 아니라 테스크에 대한 정보도 같이 들어갈 수 있어야 합니다. 만약에 모델에 입력한다면 (테스크 설명, 입력, 출력) 형태로 해서 (번역, 한국어 입력, 영어 출력) 또는 (QA, 컨텍스트, 질문, 답) 이렇게 작성을 할 것입니다. 논문의 예시로 보면 다음과 같이 볼 수 있겠습니다.

예시는 WebText 학습 데이터 셋에서 영어에서 프랑스어로 변환되는 내용입니다. 모델에서 실험을 할 때는 위와 같이 앞에서 번역하고자 하는 문구를 입력하고 “wrote in French”나 “French:”, “English:”와 같이 표기를 해서 변역된 문구가 생성되는 것을 기대할 것입니다.

Masked Language Modeling with lightning-transformers

FaceShifter는 high fidelity(충실도)와 occlusion한 2-stage face swap framework이다. 기존 방법들은 target image로부터 제한된 정보로만 동작하는 단점이 있다. FaceShifter는 대상 속성(target attributes)에 철저하게 적응하도록 활용하고 통합하여 high-fidelity한 변환된 얼굴을 생성한다. 저자는 다중 레벨 대상 얼굴 속성을 추출하기 위한 새로운 속성 인코더(attributes encoder)를 제안한다. 그리고 얼굴 합성을 위해 정체성(identity)과 속성(attributes)을 적응적으로 통합하기 위해 AAD(Adaptive Attentional Denormalization) layer를 이용한 Generator를 제안한다. Challenging facial occlusions을 해결하기 위해 2-stage로 구성된 HEAR-Net(Heuristic Error Acknowledging Refinement Network)를 제안한다. Manual annotation 없이 self-supervised 방식으로 anomaly regions을 복구하도록 학습되었다. Wild face들에 대한 광범위한 실험은 타 SOTA 방법들과 비교하여 FaceShifter가 더 지각적으로 매력적이고 정체성을 유지함을 보인다.

1. Introduction

Face swapping은 target image의 attributes(머리 자세(head pose), 얼굴 표정, 빛, 배경)를 보존하면서, target image의 identity를 source image 속 사람의 identity로 대체하는 작업이다. 쉽게 말해 target image의 얼굴을 source image의 사람 얼굴로 바꾸는 작업이다. Face swapping은 movie comparison, computer game, privacy protection 분야에서 잠재적 활용성이 높아 각광받고 있다.

Face swapping의 어려운 점은 두 이미지에서 identity와 attributes를 어떻게 추출하고 적응적으로 재조합 할것인가 이다. 초기 replacement-based works은 간단하게 안쪽 얼굴영역의 pixel만 대체했다. 그래서 자세와 원근법의 변화에 민감하다. 3D-based works은 자세와 원근법 차이를 다루기 위해 3D 모델을 사용한다. 하지만 3D 얼굴 구조의 정확성과 강건성이 모두 만족스럽지 못하다. 최근 GAN-based works는 인상적인 좋은결과를 보여준다. 그러나 realistic 하고 high-fidelity한 생성은 여전히 challenging 하다.

본 논문은 face swapping의 fidelity를 향상시키는데 집중했다. 더 지각적으로 매력적(perceptually appealing)인 결과를 만들기 위해 생성된 swapped face는 target face의 자세와 표정을 공유하고, 불일치 없이 균일하게 target image에 fitting해야 한다. Swapped face의 rendering은 빛의 방향, 강도, 색깔에 충실해야 한다. 그리고 swapped face의 pixel resolution은 target image resolution과 일치해야 한다. 이는 간단한 alpha와 Poisson blending으로 해결될 수 없다. Swapped face의 생성할 때 target image attributes의 철저하고 적응적인 통합은 target image의 attributes(scene lighting, image resolution)는 realistic한 swapped face를 만드는데 도움이 될 수 있다.

그러나 기존 FS 방법은 이런 통합의 필요를 무시하거나 철저하고 적응적인 방법으로 수행하는 능력이 부족했다. 특별히, 많은 이전 방법들은 swapped face를 생성하기 위해 target image로 부터 오직 자세와 표정 가이드만 사용하고 target face의 마스크를 이용하여 blend 한다. 이 과정은 artifacts를 야기하기 쉽다. Swapped face를 생성할 때, 자세와 표정 뿐만 아니라, target image에 대하여 지식을 거의 활용하지 못한다. 이는 scene lighting이나 image resolution 같은 target attributes를 거의 존중할 수 없다. 그래서 이 방법들은 source image 얼굴의 정체성을 보존하지 못한다. 아래 그림은 전형적인 실패 사례 이다.

Untitled

위 그림은 FaceForensics++ dataset에 대한 이전 방법들의 실패 사례 이다. FaceSwap 방법은 inner face region을 생성한 후 target face에 섞는 하는 방법이다. 이러한 전략은 artifacts가 생성되기 쉽다.

코 부분에 빛의 결함(1행 3열)

Source identity의 얼굴 모양을 보존하는데 실패(2행 3열)

Image resolution 불일치(3행 3열)

반면 FaceShifter는 이러한 문제가 없다.

아래 그림과 같이 3D의 얼굴 형상을 Scan하여 남성100명 여성100명 총200명에 대한 형상 정보를 기록한 DB가 존재한다.이 데이터를 seed로 하여 각 데이터셋간의 선형 조합으로 모든 사람의 얼굴을 표현하고자 한다.

3차원 공간에 n개의 landmark point를 통해 얼굴을 표현하며 shape vector S와 색감을 표현하기 위한 texture vector T가 존재한다.각 얼굴에는 약 7만개 point가 존재하며 각 포인트는 XYZ로 표현한다. 그러므로 shape vector는 약 3X70k = 210k개의 차원을 가진 벡터가 되고,texture vector 역시 하나의 포인트를 표현하는데 RGB가 필요하도록 되어있어 동일하게 210k개의 차원을 가진 벡터가 된다.

이때, m명의 사람(m exemplars)를 조합하여 새로운 모델을 표현하는 morphable model을 구성하면 아래와 같이 나타낼 수 있다.

여기서 ai는 shape vector에 대한 계수, bi는 texture vector에 대한 계수이다. 그리고 m개의 exemplars에 대한 각 계수의 합은 1이다.Si, Ti는 각각 한개의 exemplar에 대한 데이터를 의미한다. 결국, 모델이 표현하는 바는 weighted sum을 통해 얼굴을 표현하는 것이다.

선형결합을 통해 생성한 얼굴은 이상한 모습을 할 수 있기 때문에 그럴듯함(plausibility)를 정량화 하여 표현해야 한다.이는 예제 얼굴 세트의 파라미터 확률분포 추정하고 이 추정된 파라미터의 확률분포에 대해 새롭게 생성된 얼굴의 파라미터 조합이추정분포에 가깝게 만들어졌는지를 한다. 즉, exmaplar에 대한 파라미터 최적화를 수행하고 최적화된 파라미터의 분포를 사전확률분포 p(a), p(b)라 하면 새 얼굴에서 우리가 얻은 파라미터 a, b의 조합이 prior에 가까운지 평가하여 그럴듯함을 평가할 수 있다는 것이다.즉, 추정 분포에서 멀어질 수록 그럴듯한 얼굴이 아니게 되는 것이다.(확률분포에 대한 설명은 생략)

위 모델을 통해 plausibility를 고려하여 새로운 얼굴을 생성할수 있지만, 차원의 문제가 존재한다.S와 V가 210k개의 차원을 가진다고 했기 때문에 해당 vector에 대해서 최적의 얼굴 조합을 찾는 일은 계산량이 매우 큰 문제이다.이때문에 논문에서는 PCA를 사용한것 같다. m개의 exemplar에 대하여 한번에 PCA를 수행하여 저차원의 PCA component vector를 생성하고 이들의 결합으로 새로운 얼굴을 표현하는 새로운 모델을 아래와 같이 표현할 수 있다.

여기서 Sbar, Tbar는 모든 exemplar의 평균이 되는 PC component이며 이 값에 shape PC component vector si texture PC component vector ti 각각에 대한 alpha, beta의 조합으로 모델이 구성된다. (참고로 생성된 Smodel, Tmodel은 PCA 계산시 얻어진 kernel을 곱하여 다시 역변환을 수행하며 이때 210k -> 3 차원 차이가 dramatic하게 존재하므로 비가역적 정보손실이 발생하여 품질 저하가 있을것으로 예상된다.

음성 데이터 Basic

음악에서 주로 쓰이는 데이터 형태로는 wave data와 midi data가 있습니다.

간략히 말하면,

wave data는 소리를 디지털 파형으로 저장한 데이터이고, (x축:시간, y축:진폭)

midi data는 각종 악기를 제어하는 전기 신호 데이터입니다. (x축:시간, y축:건반)

소리로 들어볼까연.

Wave Data

신호는 '시간에 따른 일정한 양의 변화량'이고, 오디오 신호의 경우 여기서 변하는 양은 '기압(진폭)'입니다.

소리를 결국 디지털 데이터로 나타내려면, 시간에 따른 기압(진폭)을 채취해야합니다.

'시간에 따라 기압 샘플을 채취한 데이터' = wave data

Generating Music with Expressive Timing and Dynamics

'Timing' and 'Dynamics' ⇒ Note on/off and velocity

모델 아키텍쳐보다는 음악적인 데이터를 학습하는데 중점

Overview

컨타이즈된 노트 vs 사람이 만든 노트

컨타이즈 → 같은 박자, 같은 세기라서 어색하게 느껴진다. (예제는 좀 너무함)

여기서 만드는 건 Sound가 아닌 MIDI 데이터, Audio를 바로 만드는 것이 아님

Dataset

Yamaha e-Piano Competition (~1400 performances by skilled pianists)

Representation

모두의연구소의 LAB을 대표하여 EO 촬영을 진행했습니다.

AIST Dance DB

AIST++ Dance VIDEO DB

Quick overview

냠🎂

DB Design policy

저작권

다양한 장르

다양한 각도

Naming rule

+(추가됨)기술이름표(?).xlsx

아래 링크를 클릭해보시면 Rocket UP LAB의 신지현 연구원님께서 모임 내용을 훌륭하게 정리해주셨습니다. 감사합니다.❣

Rocket UP - 모두의연구소 - 3주차. 복지와 보상

대학내일에도 소개가 되었던 가우디오랩의 꿀복지입니다.🥞🐝

아래 링크를 클릭해보시면 Rocket UP LAB의 신지현 연구원님께서 모임 내용을 훌륭하게 정리해주셨습니다. 감사합니다.🤎

Rocket UP - 모두의연구소 - 2주차. 조직문화

모두가 즐거운 문화 속에서 행복하시길 빕니다~😊

아래 링크를 클릭해보시면 Rocket UP LAB의 신지현 연구원님께서 모임 내용을 훌륭하게 정리해주셨습니다. 감사합니다.💛

Rocket UP - 모두의연구소 - 1주차. 전략/기획

다음은 모두의연구소에서 제작했던 비즈니스 모델 캔버스입니다.👍

본 LAB의 활동은 후배 사업자가 볼 수 있도록 블로그 또는 책으로 출간할 예정입니다.😊

연구원 여러분 안녕하세요.

Rocket UP 랩짱을 맡은 모두의연구소 김승일 대표입니다. 드디어 오늘 첫만남을 가지겠네요.

로켓업은 대표님들의 경험을 서로 나누고  각자의 사업에 맞게 변형하여 사용해 볼 수 있는 지식 나눔의 장입니다.

참여하시는 연구원 대표님들의 회사 규모나 창립시기가 모두 다르고, 그에 따라 고민하는 포인트들이 많이들 다르실 것입니다. 그리고, 그에 따라 적합한 솔루션도 모두 다를 것으로 생각합니다. (가령, 10명 규모의 회사와 50명 규모의 회사에서 생각하는 조직문화는 전혀 다를 것입니다.) 그래서 하나의 optimum solution을 찾기 보다는 서로의 생각을 공유하며 스스로 적합한 솔루션을 찾아가는 것을 Rocket UP 랩의 목표로 생각하고 있습니다.

운영방식은 다음과 같습니다.

(1) 저를 포함 11명의 대표 연구원님은 소주제별로 질의응답 포함 3~10분씩 정해진 주제에 대해 회사에서 어떤 식으로 실행하고 있는지 설명을 합니다. 이 때 발표자료를 준비하실 필요는 없으나, 회사내에서 사용하고 있는 template 등을 공유해 주시는 것을 추천합니다. (template에 들어갈 내용이 confidential 이라면 빈 template 만으로 설명해주셔도 좋습니다. 가령 모두의연구소는 일의 우선순위를 정할 때 사용자 스토리 보드를 만들어서 사용하고 있습니다. 아래와 같은 template을 사용하고 있는데요. 이런 template을 보여주면서, 왜/어떻게 이런 template을 사용하고 있고, 어떤 장단점이 있는지 등에 대해 소개해주시면 되겠습니다.

(2) 모임종료 전, 다음주에 논의할 소주제들을 구체적으로 결정합니다.

(3) 다음주 모임 전까지 주제에 맞게 서로 공유할 내용을 정리해서 오시면 되겠습니다!

(4) 종종 추천 도서가 있습니다. 해당 도서는 자율적으로 읽고 오셔서 괜찮았던 내용이 있다면 서로 공유하는 자리를 가지도록 하겠습니다.

(5) 위 룰은 진행하면서 바뀔 수 있습니다. 린하게 출발하는 게 스타트업스럽자나요 :)

본 과정의 결과물은 블로그 및 도서 집필 계획이 있습니다.

여러분의 의미있는 참여 독려를 위해 도서 출판시 활발하게 정보를 공유하신 대표님의 회사명 및 대표님 이름을 위로 올려드리겠습니다~! 판단은 객관적으로 바라볼 수 있는 서기이신 IBM 신지현 부장님 몫으로 남겨두겠습니다!

매주 수요일 오후 7시 20분에 줌링크를 슬랙으로 공유드립니다. 슬랙 노티 켜주세요~!

아래 링크를 클릭해보시면 Rocket UP LAB의 신지현 연구원님께서 모임 내용을 훌륭하게 정리해주셨습니다. 감사합니다.🧡

Rocket UP - 모두의연구소 - 0주차. 오리엔테이션

멋진 대표님들의 장점 모아보아요.😎

🍎 논문 정리

High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs

pix2pix_ipynb.ipynb

Pix2pix.pptx

논문 요약

해당 논문은 Conditional GAN이라는 논문을 소개하고 있다. 간단하게 y라는 데이터를 추가하므로써 내가 원하는 데이터를 생성하는 것이 이 논문의 핵심이다. 기존의 GAN은 데이터가 생성되는데에 통제권이 없었다. 이뜻은 무엇일까? MNIST dataset을 기준으로 잡고 이야기 하자면, 내가 숫자 7 이미지를 원한다고 해서 모델이 7 이미지를 만들어주지 않는다는 이야기다.

cGAN.PNG

그렇다면 왜, GAN은 왜 우리가 원하는데로 이미지를 생성해주지 않는걸까? 그 이유는 GAN은 라벨의 정보를 가지고 학습하는 것이라, 데이터 분포를 학습하기 때문이다.

cGAN.PNG

즉, 라벨에 대해 잘 모르지만서도 1일 1답게 하는 데이터 분포를 학습하기 때문이다. 그렇다면, 우리가 원하는 데이터를 만들어주는 GAN을 만들려고 하면 어떻게 해야댈까? 라벨에 대해 잘 모르는 같으니, y라는 특정한 정보 y(라벨)을 넣어준다면, 분포와 함께 우리가 원하는데로 만들어 주지 않을까? 이렇게 데이터를 우리가 원하는데로 제어하는 모델을 conditional GAN 이라고 한다.

cGAN.PNG

요점은 아래와 같다.

Discriminator 조건을 토대로 생성된 이미지에 대해 진짜인가, 가짜인가를 판별하고 있다.

2. Generator는 y에 의해 조건을 토대로 이미지를 생성하고 있다.

수식은 GAN이랑 크게 다르지 않다.

cGAN.PNG

gan_title.png

Abstract

본 논문에서는, 실제 data의 distribution을 모방하려는 generative model $G$와 입력된 sample이 $G$로부터 생성된 data가 아닌 실제 data일 확률을 출력하는 discriminative model $D$가 서로 adversarial process를 통해 generative model을 학습하는 방법을 제안한다.

GAN에서 목표로 하는 solution은 다음과 같다.

Adversarial nets

\min_G \max_D V(D, G) = \mathbb{E}_{\mathbf{x} \sim p_{data}(\mathbf{x})} [\log D(\mathbf{x})] + \mathbb{E}_{\mathbf{z} \sim p_{\mathbf{z}}(\mathbf{z})} [\log (1 - D(G(\mathbf{z})))]

GAN에서 objective function은 위와 같으며, $D$와 $G$의 관점에서 그 의미를 해석하면 다음과 같다.

실제 학습시에는 $G$를 학습하기 위해 $\log (1 - D(G(\mathbf{z})))$를 minimize 하는 것 대신에 $\log D(G(\mathbf{z}))$를 maximize하게 되는데, 그 이유는 다음과 같다.