GAN Papers

gan_title.png

Abstract

본 논문에서는, 실제 data의 distribution을 모방하려는 generative model $G$와 입력된 sample이 $G$로부터 생성된 data가 아닌 실제 data일 확률을 출력하는 discriminative model $D$가 서로 adversarial process를 통해 generative model을 학습하는 방법을 제안한다.

GAN에서 목표로 하는 solution은 다음과 같다.

Adversarial nets

\min_G \max_D V(D, G) = \mathbb{E}_{\mathbf{x} \sim p_{data}(\mathbf{x})} [\log D(\mathbf{x})] + \mathbb{E}_{\mathbf{z} \sim p_{\mathbf{z}}(\mathbf{z})} [\log (1 - D(G(\mathbf{z})))]

GAN에서 objective function은 위와 같으며, $D$와 $G$의 관점에서 그 의미를 해석하면 다음과 같다.

실제 학습시에는 $G$를 학습하기 위해 $\log (1 - D(G(\mathbf{z})))$를 minimize 하는 것 대신에 $\log D(G(\mathbf{z}))$를 maximize하게 되는데, 그 이유는 다음과 같다.

논문 요약

해당 논문은 Conditional GAN이라는 논문을 소개하고 있다. 간단하게 y라는 데이터를 추가하므로써 내가 원하는 데이터를 생성하는 것이 이 논문의 핵심이다. 기존의 GAN은 데이터가 생성되는데에 통제권이 없었다. 이뜻은 무엇일까? MNIST dataset을 기준으로 잡고 이야기 하자면, 내가 숫자 7 이미지를 원한다고 해서 모델이 7 이미지를 만들어주지 않는다는 이야기다.

cGAN.PNG

그렇다면 왜, GAN은 왜 우리가 원하는데로 이미지를 생성해주지 않는걸까? 그 이유는 GAN은 라벨의 정보를 가지고 학습하는 것이라, 데이터 분포를 학습하기 때문이다.

cGAN.PNG

즉, 라벨에 대해 잘 모르지만서도 1일 1답게 하는 데이터 분포를 학습하기 때문이다. 그렇다면, 우리가 원하는 데이터를 만들어주는 GAN을 만들려고 하면 어떻게 해야댈까? 라벨에 대해 잘 모르는 같으니, y라는 특정한 정보 y(라벨)을 넣어준다면, 분포와 함께 우리가 원하는데로 만들어 주지 않을까? 이렇게 데이터를 우리가 원하는데로 제어하는 모델을 conditional GAN 이라고 한다.

cGAN.PNG

요점은 아래와 같다.

Discriminator 조건을 토대로 생성된 이미지에 대해 진짜인가, 가짜인가를 판별하고 있다.

2. Generator는 y에 의해 조건을 토대로 이미지를 생성하고 있다.

수식은 GAN이랑 크게 다르지 않다.

cGAN.PNG

pix2pix_ipynb.ipynb

Pix2pix.pptx

🍎 논문 정리

High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs