GAN Papers

gan_title.png

Abstract

본 논문에서는, 실제 data의 distribution을 모방하려는 generative model $G$와 입력된 sample이 $G$로부터 생성된 data가 아닌 실제 data일 확률을 출력하는 discriminative model $D$가 서로 adversarial process를 통해 generative model을 학습하는 방법을 제안한다.

GAN에서 목표로 하는 solution은 다음과 같다.

Adversarial nets

\min_G \max_D V(D, G) = \mathbb{E}_{\mathbf{x} \sim p_{data}(\mathbf{x})} [\log D(\mathbf{x})] + \mathbb{E}_{\mathbf{z} \sim p_{\mathbf{z}}(\mathbf{z})} [\log (1 - D(G(\mathbf{z})))]

GAN에서 objective function은 위와 같으며, $D$와 $G$의 관점에서 그 의미를 해석하면 다음과 같다.

실제 학습시에는 $G$를 학습하기 위해 $\log (1 - D(G(\mathbf{z})))$를 minimize 하는 것 대신에 $\log D(G(\mathbf{z}))$를 maximize하게 되는데, 그 이유는 다음과 같다.

ㄹㄹ

논문 요약

해당 논문은 Conditional GAN이라는 논문을 소개하고 있다. 간단하게 y라는 데이터를 추가하므로써 내가 원하는 데이터를 생성하는 것이 이 논문의 핵심이다. 기존의 GAN은 데이터가 생성되는데에 통제권이 없었다. 이뜻은 무엇일까? MNIST dataset을 기준으로 잡고 이야기 하자면, 내가 숫자 7 이미지를 원한다고 해서 모델이 7 이미지를 만들어주지 않는다는 이야기다.

cGAN.PNG

그렇다면 왜, GAN은 왜 우리가 원하는데로 이미지를 생성해주지 않는걸까? 그 이유는 GAN은 라벨의 정보를 가지고 학습하는 것이라, 데이터 분포를 학습하기 때문이다.

cGAN.PNG

즉, 라벨에 대해 잘 모르지만서도 1일 1답게 하는 데이터 분포를 학습하기 때문이다. 그렇다면, 우리가 원하는 데이터를 만들어주는 GAN을 만들려고 하면 어떻게 해야댈까? 라벨에 대해 잘 모르는 같으니, y라는 특정한 정보 y(라벨)을 넣어준다면, 분포와 함께 우리가 원하는데로 만들어 주지 않을까? 이렇게 데이터를 우리가 원하는데로 제어하는 모델을 conditional GAN 이라고 한다.

cGAN.PNG

요점은 아래와 같다.

Discriminator 조건을 토대로 생성된 이미지에 대해 진짜인가, 가짜인가를 판별하고 있다.

2. Generator는 y에 의해 조건을 토대로 이미지를 생성하고 있다.

수식은 GAN이랑 크게 다르지 않다.

cGAN.PNG

pix2pix_ipynb.ipynb

Pix2pix.pptx

논문 정리

High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs

spade_title.png

Abstract

Semantic mask를 photorealistic image로 변환하는 기존의 네트워크들에서 normalization layer가 semantic information을 소실시키는 문제가 있음을 보이고, 이를 해결하기 위한 spatially-adaptive normalization layer를 제안한다.

COCO-Stuff, ADE20K, Cityscapes 등의 데이터셋에서 기존의 방법들보다 생성 결과가 좋았고, ablation study를 통해 spatially-adaptive normalization layer가 효과적임을 입증하였다.

Related Work

Unconditional Normalizations

uncond_norms.png

위 그림은 CNN에서의 몇가지 normalization 방법들이 동작하는 차원 축들을 비교한 것이며, 자세한 설명은 다음과 같다. (CNN이 아닌 다른 NN에서는 channel 축을 feature 축으로 보면 됨)

위 방법 모두 최적의 normalization 정도를 조절하기 위한 learnable parameters $\gamma, \beta$를 학습하는 과정이 포함된다.

Conditional Normalizations

Conditional normalization 방법들은, $\gamma, \beta$를 찾는 과정에서 external data를 사용한다는 점이 기존의 normalization 방법들과 다르며, 다음과 같은 방법들이 있다.

Semantic Image Synthesis

Spatially-adaptive denormalization

fig_2.png

Figure 2는 본 논문에서 제안하는 SPatially-Adaptive (DE)normalization (SPADE)를 나타낸 것이며, 동작 방식은 다음과 같다.