딥랩논문반 시즌2 - 2기 발표자료

VAE는 생성형 모델 중 Autoregressive보다 빨리 수렴하면서도 GAN 계열보다 안정적으로 학습되는 장점을 가집니다. 변분추론(variational inference) 논리에 따라 입력데이터의 차원(D)보다 훨씬 적은 차원(K)으로 입력데이터의 추상표현을 담은 latent variable을 얻을 수 있다는 장점도 있습니다.

그러나 VAE는 GAN에 비해 생성된 이미지의 디테일이 뚜렷하지 않다는 단점이 있었습니다. 그래서 고화질의 이미지 생성 연구는 주로 GAN 방식으로 많이 진행되어 왔습니다. 그러나 VAE 계열의 연구도 계속되어 왔는데, 오늘 논문에서 소개하는 VDVAE(Very Deep VAE)는 VAE의 encoder, decoder의 레이어를 깊이 쌓았을 때 고화질 이미지 생성에도 뛰어는 성능을 보여준다는 것을 확인해 줍니다.

논문 첫페이지에 소개한 샘플이미지를 한번 더 보실까요? 아래 이미지를 보면 VAE로도 GAN에 뒤지지 않는 고화질(256X256)의 이미지를 사실적으로 생성하고 있음을 알수 있습니다.

VAE를 개선하여 고화질의 이미지를 생성하려는 시도는 대략 아래와 같은 방식들이 사용되어 왔습니다.

지난번 다루었던 Dialogue System에서의 Continual Learning 의 주제를 더욱 폭넓게 다룬 논문으로서 흥미롭게 볼 수 있었다. 지난번 다룬 논문은 NLG(Natural Language Generation)에만 국한되어 있었다. 그러나 본 논문에서는 Dialogue System을 위해서 필요한 모듈구성을 아래와 같이 정리하고 있다.

본 논문의 1차적 의의는 Continual Learning 기반의 Dialogue System을 통합 구성하기 위한 문제정의, 데이터셋, Metric, SOTA approach를 체계적으로 정리했다는 데 있다. 이외에도 본 논문이 제시하는 AdapterCL이라는 Arhitectural approach가 있어서, 이것의 성능상 개선효과를 주의깊게 볼만하다.

본 논문의 Continual Learning 기반 (Task-oriented) Dialogue System의 개념은 Lee(2017) Toward continual learning for conversational agents 에서 제시된 것과 대동소이하다.

이 논문은 2020년 10월에 발표된 논문으로서, 이 분야에서 보기 드물게 dialogue system에서의 continual learning을 다루고 있다. 이 논문의 기본 문제구성의 아이디어는 Lee[2017] Toward Continual Learning for Conversational Agents에서 가져왔다고 할 수 있다. 하지만 이후 Catastrophic forgetting을 극복하는 EWC, Experience Replay 등의 기법을 결합하면서 의미있는 수준의 성능을 확인할 수 있게 되었다. 이 논문의 2달 뒤에는 Facebook의 Madotto et al.[2020] Continual Learning in Task-Oriented Dialogue Systems에서 NLG 및 전체 NLP 영역을 포괄한 더욱 제너럴한 주제로 발전시켰다. (다음에 정리해볼 예정) 추가로 언급할 것은, 이 논문은 정말 친절하게 작성되었다는 점이다. 정말 읽기 쉽다는 느낌이었다. 기존 연구를 체계적으로 정리하여 소개하는 점, 수식이나 노테이션 활용시 애매함이 없게 명확하게 개념을 정리하여 제시한다는 점이 눈에 띈다. 아직 인용수는 많지 않지만, 이 분야를 정리하기 위해 도움이 될만하니 관심있는 분들의 일독을 권한다.

Continual Learning이 필요한 이유는 뭘까? 만약 최초의 모델학습만으로 우리의 딥러닝 모델이 충분히 이후의 모든 입력에 대해 완벽히 대응 가능하다면 필요없겠지만, 안타깝게도 우리의 모델은 서비스 도중에 처음보는 입력, 지식, 도메인을 맞닥뜨리게 된다. 즉, 우리의 모델은 필연적으로 재학습이 필요한데, 특히 오늘 주로 다룰 챗봇(Dialogue System)이라면 online learning이 필수적이다.

그러나, 새로운 데이터를 가미한 재학습을 시도했을 때, Catastrophic forgetting이라는 문제를 만나게 된다. 이전에 잘 학습시킨 지식과 피처가 사라져 버린다. 아래 그림은 이런 현상을 좀더 직관적으로 설명해 준다. 고양이과 금붕어를 잘 구분하는 모델에 새롭게 사자와 개의 이미지 데이터와 라벨을 추가해서 학습을 시켰더니, 놀랍게도 우리의 새로운 모델은 이전에 잘 알아맞추던 고양이와 금붕어를 아주 높은 확률로 사자나 개로 분류하고 있는 것이다. 새로운 class가 추가되는 형태의 continual learning에서 흔히 접하게 되는 현상인데, 이를 클래스간 fairness를 잃어버렸다고 표현한다.

이 논문에서는 MultiWoZ-2.0 데이터셋을 기반으로 새로운 task를 차례차례(continually) 배워가는 모델을 목표로 한다.

Transformer 아키텍쳐(Vaswani et al., 2017)가 나온 이래 BERT 등으로 발전하면서 NLP 분야에 획기적인 발전이 계속되었지만, 너무 큰 GPU 메모리를 요구하는 구조로 인해 스타트업 직원으로서는 감히 따라가 볼 엄두가 안나는 분야가 되어버렸다.

2020년 새해가 밝아오면서, 16GB짜리 GPU 1장으로도 NLP 연구를 가능하게 한다는 엄청나게 Memory-efficient한 Transformer 구조가 제안되었다는 소식이 전해졌다. 희망찬 소식에 큰 기대를 가지고 바로 그 논문을 들여다본다.

이 논문을 그림 한장으로 요약하면 다음그림과 같다(고 한다.) 지금은 이해하기 어렵다.