Search
Duplicate
📜

딥랩논문반 활동 (클릭)

Gallery view
Search
KDD'17
(SIGKDD Conference on Knowledge Discovery and Data Mining)

Abstract

•
word2vec → node2vec (homogeneous) → metapath2vec (heterogeneous)
•
Metapath-based word2vec method

Background: Heterogeneous Graph

•
Mining Heterogeneous Information Networks: A Structural Analysis Approach (KDD'12)

Heterogeneous Graph?

The graph where the number of types of nodes and their relations are more than 1

Schema & Network

Metapath

metapath2vec: Scalable Representation Learning for Heterogeneous Networks
Graph
2021/08/09
Injung Hwang
논문리뷰
Deformable DETR (ICLR'21)
Deformable-DETR.ppt
4836.5KB
Deformable DETR: Deformable Transformers For End-to-End Object Detection
Vision
Transformer
2021/07/26
이혜민
논문리뷰
이 논문은 Contemporary neural networks still fall short of human-level generalization 이라는 문장으로 시작한다. human-level generalization이라는 키워드에 관심이 없는 분이라면 수식하나 없는 이 논문에서 크게 건질것이 없을지도 모른다.
물론 딥러닝은 쓸만하다. 놀라울 때도 가끔 있다. 그러나 여전히 충분히 만족스럽지 않다면 그 근본적인 원인은 무엇일까? 이 논문의 저자들은 이 근본적인 원인을 Binding Problem 이라고 정의한다.

Binding Problem

딥러닝은 Connectionist(연결주의자)들의 산물이다. 이 방법이 가진 단점은 네트워크상에 분포한 정보(information)를 symbolic한 방법으로 연결(bind)지어 내지 못한다는 점이다.
그러나, 저자들의 아래 주장에 따르면, symbol manipulation process야말로 인간수준 지능의 가장 핵심적 요소이다.
Integrating symbolic processing into neural networks is of fundamental importance for realizing human-level AI
이것이 왜 중요할까? 인간지능의 핵심은 기존의 지식을 결합(composition)하여 이전에 보지 못한 데이터에 대해서도 추론을 해낸다는 점이다. 그러려면 개념(구체적이든, 추상적이든) 정보를 재활용할 수 있어야 하는데, 연결주의적 관점으로는 네트워크 상 어딘가 존재하는 개념을 콕 찍어서 재활용하기가 매우 어렵다. 이런 어려운 점을 binding problem이라고 하는데, 이 문제를 해결하려면 다음 3가지가 가능해야 한다.
1)Segregation : ability to form(separate) meaningful entities from unstructured sensory inputs
> 어떤 개념을 그것과 그것이 아닌것 사이의 경계를 찾아 구별해 낼수 있어야 한다.
Greff et al.[2020] On the Binding Problem in Artificial Neural Networks
BindingProblem
2021/07/19
백병인
논문리뷰
KDD'16 paper, Standford

Brief Introduction

•
For now, traditional & typical node embedding technique
•
Propose graph feature learning approaches

Background

Problems in Graph

•
Node classification (node-level task)
•
Link prediction (link-level task)
•
Graph classification (graph-level task)

Node Embedding in Graph

•
A mapping of nodes to a low-dimensional space of features
Traditionals → node embeddings → GNNs → Knowledge graphs → Deep Generative graph models

Conventional method (Linear algebraic approach)

PCA (Principal Component Analysis)

node2vec: Scalable Feature Learning for Networks
Graph
NodeEmbedding
2021/06/28
Injung Hwang
논문리뷰
DETR.ppt
9021.0KB
발표자료를 첨부합니다.
End-to-End Object Detection with Transformers (DETR)
Vision
Transformer
CNN
2021/06/21
이혜민
논문리뷰
내 안드로이드폰이 강화학습을 위한 environment가 되게 해 주는 멋진 플랫폼이 나왔다니!! 역시 딥마인드!!
AndroidEnv라는 이름을 보자마자 무릎을 탁 치게 되었다. 게임 밖의 현실 세계에 적용하기가 너무나 어렵던 강화학습이 내 손안에 잡히는 구체적인 현실 문제에 적용 가능해 지는 무한한 가능성이 상상되지 않는가?
하지만 흥분은 잠시, 5초만에 몇가지 의문점들이 밀려온다.
강화학습이라고? environment가 게임이 아니라면 reward는 어떻게 정의하지?
그리고 action과 observation은 어떻게 정의되는 거지? agent는 사람처럼 행동하는 건가? 아니면 정말 마블의 자비스나 her의 사만다 같이 사람과 interaction할 수 있는 강화학습 agent를 만들 수 있는 건가?
결론부터 얘기하자면, AndroidEnv는 OpenAI Universe같이 강화학습 agent를 다양한 task에 최적화되도록 훈련시킬 수 있는 범용 environment platform이다. 정말 대강 후려쳐 정리하자면 OpenAI Universe같은 것을 Android 환경에서 돌릴 수 있게 한 것인데, 그렇기 때문에 훨씬 실용적일 수 있고, 모바일이라는 UI특성 때문에 action space가 터치스크린 이벤트 방식으로 구현되어 있다 정도의 차이가 있다. (하지만 논문을 읽어보면 행간에 많은 고민들이 녹아 있음을 알수 있다)
이 표 하나의 의미만 파악하면 AndroidEnv의 의미를 절반쯤 이해할 수 있다. 절반인 이유는, 이 표만 봐서는 AndroideEnv가 OpenAI Universe와 뭐가 다른지 알수 없기 때문이다.
그럼 AndroidEnv를 소개한 논문을 흐름에 따라 눈에 띄는 점만 정리하면서 이것의 의미를 좀더 생각해 보자.

I. Introduction

Toyama et al.[2021] AndroidEnv: A Reinforcement Learning Platform for Android
RL
Environments
2021/06/07
백병인
논문리뷰
•
컴퓨터 비전 분야에서는 오래전부터 Hand-crafted Feature 를 사용하는데 익숙했다.
•
이런 식으로 이미지의 정보를 추출하는 방법은 과거 이미지 프로세싱 분야에서 인기를 얻어지만 요구되는 문제들의 복잡성이 증가함에 따라 점차 CNN 분야로 완전히 그 영광을 넘기게 되었다.
•
이런 문제들을 타계하기 위해 비지도 학습(unsupervised learning) 방식이 제안되기도 했다.
•
자기 지도 학습(self-supervised learning)은 비지도 학습 방법론 중 한가지 특별한 형태로 고려할 수 있다.
•
Transformer 는 최근 NLP 에서 각광받은 기술로 CNN 에도 영향을 주고 있다.
•
이제 이 논문의 소개를 진행한다.

Vision Transformer

•
NLP 쪽에서 영감을 받아 Transformer 기법을 이미지 모델에도 적용
DINO
VisionTransformer
2021/05/31
홍기호
논문리뷰
VAE는 생성형 모델 중 Autoregressive보다 빨리 수렴하면서도 GAN 계열보다 안정적으로 학습되는 장점을 가집니다. 변분추론(variational inference) 논리에 따라 입력데이터의 차원(D)보다 훨씬 적은 차원(K)으로 입력데이터의 추상표현을 담은 latent variable을 얻을 수 있다는 장점도 있습니다.
그러나 VAE는 GAN에 비해 생성된 이미지의 디테일이 뚜렷하지 않다는 단점이 있었습니다. 그래서 고화질의 이미지 생성 연구는 주로 GAN 방식으로 많이 진행되어 왔습니다. 그러나 VAE 계열의 연구도 계속되어 왔는데, 오늘 논문에서 소개하는 VDVAE(Very Deep VAE)는 VAE의 encoder, decoder의 레이어를 깊이 쌓았을 때 고화질 이미지 생성에도 뛰어는 성능을 보여준다는 것을 확인해 줍니다.
VDVAE를 이용해 생성한 FFHQ-256 기반의 이미지(temperature=0.6). 본문에서는 체리피킹하지 않았음을 강조하고 있음
논문 첫페이지에 소개한 샘플이미지를 한번 더 보실까요? 아래 이미지를 보면 VAE로도 GAN에 뒤지지 않는 고화질(256X256)의 이미지를 사실적으로 생성하고 있음을 알수 있습니다.
VAE를 개선하여 고화질의 이미지를 생성하려는 시도는 대략 아래와 같은 방식들이 사용되어 왔습니다.
•
디코더를 Flow 방식의 여러 레이어로 구성
•
Hierarchical VAE 방식
Child [2020] Very Deep VAEs Generalize Autoregressive Models and Can Outperform Them on Images
VeryDeep
VAE
2021/05/29
백병인
논문리뷰
•
사실 처음보는 Anchor free Detector 논문이라 궁금해서 본건데 생각보다 내용이 없다

Abstract

•
Object Detection 은 매우 다양한 곳에 사용될 수 있지만 많은 딥러닝 기반 방식들이 모델이 크고 긴 Inference time 을 필요로 하기에 Effectiveness와 Efficiency 의 조율이 필요
•
이를 위해 pre-defined 된 anchor를 제거한 anchor-free 모델 사용해 두가지를 모두 잡는 모델을 만들어 보고자함
•
TTFNet 이라 불리는 anchor-free 모델을 사용해 이를 서버와 모바일환경에 최적화 시킨 PAFNet (Paddle Anchor Free Network) 을 제안

1. introduction

•
Object Detection은 CNN 을 적용하게 되면서 성능이 향상 되었었음
•
Region Proposal 과 Classification을 한번에 학습하는 One-stage 방식과 분리하여 진행하는 Two-stage 방식으로 발전해 왔는데 최근 속도에 큰 장점이 있는 One-stage 모델이 성능까지 좋아지며 이 방식이 주류를 이루고 있음
•
하지만 One-stage 모델의 경우 사전에 정의된 고정된 앵커가 존재하는데 이 매우 많은양의 앵커가 야기하는 일반화 성능의 손실이 크고 연산량도 매우 증가됨
•
이것을 제거하고 직접 위치를 Regression 하는 모델을 anchor-free 모델이라 부름
•
여기에 설명이 너무 다 나와서 뒤는 짜름
PAFNet: An Efficient Anchor-Free Object Detector Guidance
ObjectDetection
anchor-free
2021/05/24
김연태
논문리뷰
REFORMER: THE EFFICIENT TRANSFORMER
PPT로 공유드립니다.
DALLE.ppt
6310.5KB
VAE 설명을 위해 예전에 모두연에서 발표했던 발표 자료도 공유 드립니다.
AAE_발표자료_최종.ppt
18370.0KB
Zero-Shot Text-to-Image Generation (DALL-E)
VAE
Dali
WALL-E
GPT
Transformer
2021/05/17
이혜민
논문리뷰
Facebook paper 2019

Brief Introduction

Two primary perspective
•
Recommendation systems
•
Predictive analytics
Propose a personalization model with such two perspectives
•
Uses embeddings to process sparse features into dense features
•
Interacts these features using the statistical techinques (Factorizaion Machine)
•
Finds the event probability with MLP

Background Concept

Embedding

•
An embedding is a mapping of a discrete variable to a vector of continuous numbers
•
Dot-product of two shows similiarity
Deep Learning Recommendation Model for Personalization and Recommendation Systems
Recommendation
Embedding
Parallelism
2021/05/17
Injung Hwang
논문리뷰

딥러닝은 과연 함수인가?

입력 데이터의 집합을 정의역으로 두고, 추론해야 할 정답의 집합을 공역으로 두고 두 집합의 데이터의 관계를 규정하는 함수를 파라미터로 초기화해놓고 이를 데이터셋으로부터 최적화 방식을 통해 근사해 나가는 방식, 이것이 머신러닝의 기본 아이디어라고 생각해 왔다.
그중에서도 Neural Network를 통해 구현한 딥러닝 방식의 모델은 그 어떤 복잡한 함수라도 레이어를 깊이 쌓아서 정확히 근사해 낼수 있다는 표현력으로 인해 대세로 자리잡았다.
(참고) Universal Approximation Theorem
아주 대략적으로 말해, 한개의 hidden layer에 activation function이 결합된 feed foward network는 어떤 연속함수도 근사할 수 있다는 이론이지만, 의외로 이를 정확하게 설명하는 블로그글을 찾기는 쉽지 않았다. 가장 정확한 설명을 제공하는 것은 Wikipedia인 것 같다.
Lu et al.[2021] Learning nonlinear operators via DeepONet based on the universal approximation theorem of operators

My Motivation

•
쌓여가는 사진 데이터를 활용한 다양한 분류기 시도 중
•
데이터는 많지만 정제된 클린 데이터셋은 많이 없음
•
노이즈 데이터셋을 어떻게 잘 활용해서 모델 성능 개선을 할 수 있을까?

What is noise label?

: 잘못 어노테이션된 레이블들

기존의 데이터에대한 생각

Robust Training에서 달성하고 싶은 목표

: 일부 노이즈한 레이블이 들어와도 노이즈에 강한 학습을 수행하자

Introduction

Learning from Noisy Labels with Deep Neural Networks: A Survey
Vision
NoiseLabel
Classification
Survey
2021/03/29
곽도영
논문리뷰
SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems
•
Paper

Background: 3D Human Motion Capture

Multi-view infra-based method → Multi-view markerless method → Single-view (monocular) with depth camera method → Multiple event camera method → Monocular event camera method (with help of deep learning)

Infra-based motion capture

•
Sensor-based motion capture
•
Marker-based motion capture

Limitation of infra-based motion capture

•
Costly and only possible indoor
•
Intrusive for the users to wear the marker suites

Markerless image-based method

Overcome the limitation of infra-based motion capture method
EventCap: Monocular 3D Capture of High-Speed Human Motions using an Event Camera
Vision
CNN
3DReconstruction
3D
2021/03/22
Injung Hwang
논문리뷰

들어가며

2020년 5월, OpenAI의 GPT-3가 발표되었다. 최대 175B의 어마어마한 파라미터를 자랑하는 이 모델은, 이전 GPT-2의 1.5B의 100배도 넘어가며 pretrain 비용은 50억이나 들었다고 한다. GPT-2만 해도 꽤 그럴싸한 문장생성 성능을 보여주었지만, GPT-3에서는 훨씬 어마어마하다.
OpenAI에서 2020년 9월에 발표한 본 논문에는 그런 OpenAI의 기대와 고민이 함께 담겨 있다. 너무나 그럴듯한 문장을 만들어 내는데는 성공했다. 이를 위해서 어마어마한 비용을 투자했다. 그러나 이것만으로 충분히 쓸모있는 것은 아니다. [사용자가 원하는, 서비스 맥락에 맞는] 아웃풋을 낼 수 있는 모델이 되기 위해서는 뭔가 부족한 부분을 어떻게 채워갈 것인가?

(Abstractive) Text Summarization

1) Seq2seq 방식
Abstractive Text Summarization에 접근하는 가장 일반적인 방법은 이것을 번역(NMT) 문제처럼 다루는 것이다. 그래서 seq2seq, AttnSeq2seq, Transformer 등이 많이 쓰였다. 그리고 transformer 기반이 아니더라도 Pointer Network 등 Extractive Text Summarization의 아이디어를 병용해서 성능을 올리는 방식들이 널리 검토되었다.
그래서 19년도까지만 해도(BERT 등 pretrained model이 이미 알려진 후에도) 한동안 SOTA 모델은 ConvSeq2seq 방식이었다. (Zhang et al. 2019, Abstract Text Summarization with a Convolutional Seq2seq Model) 2) GPT 방식
Stiennon et al.[2020] Learning to summarize from human feedback

TransGAN: Two Transformers Can Make One Strong GAN

1. Abstract

•
현재 Computer Vision Task에서 transformer가 좋은 성능으로 많은 관심을 받고 있으나 classification이나 detection에만 한정된 경우가 많음
•
Vision에서 어렵기로 유명한 GAN에서도 이것을 적용해보고자 하는 의지를 보임
•
기존 ConvNet 기반 GAN에 견줄수 있는 높은 성능을 보여 transformer의 가능성을 보임

2. Our Contributions

•
오직 transformer만을 사용한 최초의 completely free of convolution 모델
•
기존 transformer 기반 CV모델들은 classification 혹은 detection에만 주로 사용되었기에  구조나 색상, 질감 등의 공간적인 일관성에도 효과가 좋은지 분명하지 않음
•
이미지를 출력하는 몇 안되는 transformer 기반 모델들이 존재하나 하나같이 convolution 기반의 encoder를 사용함
•
이것을 해결하기 위한 방법을 제시

3. Technical Approach

•
A Journey Towards GAN with Pure Transformers
TransGAN: Two Transformers Can Make One Strong GAN
GAN
Transformer
Vision
2021/02/22
김연태
논문리뷰
23 Apr 2020
•
Alexey Bochkovskiy, Chien-Yao Wang, Hong-Yuan Mark Liao

요약

•
YOLO v3 성능을 유지하면서 훨씬 빠른(1 GPU에서 동작하는) 방법 제안
•
학계의 다양한 성능향상 기법 적용 및 몇가지 커스텀한 기법 적용

목차

•
Introduction
•
History of YOLO
•
Related work
•
Methodology
•
Experiments
•
Conclusion
•
관련 후속 연구, 모델 소개
YOLO v4: Optimal Speed and Accuracy of Object Detection
YOLOv4
ObjectDetection
COCO
2021/02/15
곽도영
논문리뷰

Brief Introduction

•
Indicate the "essential difference" between anchor-based and anchor-free detectors
•
Propose an "adaptive training sample selection" to automatically select positive and negative training samples
•
Demonstrate tiling multiple anchors per location is useless
•
Achieve SOTA performance on MS COCO without overhead

Recent vision models anchor-based & anchor-free

•
Mainly two methods for vision processing

Anchor-based

•
Double-stage: Faster R-CNN
•
Single-stage: Single Shot Detection (SSD)

Anchor-free

•
Keypoint-based method: CornerNet
•
Center-based method: YOLO

Difference Analysis between two

•
RetinaNet (anchor-based) vs. FCOS (anchor-free)
Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection
Vision
CNN
anchor-free
anchor-based
2021/02/15
Hwang Injung
논문리뷰

들어가며

지난번 다루었던 Dialogue System에서의 Continual Learning 의 주제를 더욱 폭넓게 다룬 논문으로서 흥미롭게 볼 수 있었다. 지난번 다룬 논문은 NLG(Natural Language Generation)에만 국한되어 있었다. 그러나 본 논문에서는 Dialogue System을 위해서 필요한 모듈구성을 아래와 같이 정리하고 있다.
•
Natural Language Understanding (NLU)
•
Dialogue State Tracking (DST)
•
Natural Language Generation (NLG)
•
Dialogue Policy (DP)
본 논문의 1차적 의의는 Continual Learning 기반의 Dialogue System을 통합 구성하기 위한 문제정의, 데이터셋, Metric, SOTA approach를 체계적으로 정리했다는 데 있다. 이외에도 본 논문이 제시하는 AdapterCL이라는 Arhitectural approach가 있어서, 이것의 성능상 개선효과를 주의깊게 볼만하다.

본 논문의 문제구성

본 논문의 Continual Learning 기반 (Task-oriented) Dialogue System의 개념은 Lee(2017) Toward continual learning for conversational agents 에서 제시된 것과 대동소이하다.
Madotto et al.[2020] Continual Learning in Task-Oriented Dialogue Systems
ContinualLearning
DialogueSystem
2021/02/08
백병인
논문리뷰

FastFormers: Highly Efficient Transformer Models for Natural Language Understanding

논문 정보

태그

•
Transformer-base model
•
Optimization
•
NLU(Natural Language Understanding)

Abstract (초록)

•
배경: NLU(Natural Language Understanding) 응용에서 transformer 기반의 모델이 SOTA(state-of-the-art) 이다.
•
문제: 하지만 컴퓨팅 성능 최적화가 필요하다
FastFormers: Highly Efficient Transformer Models for Natural Language Understanding
Transformer
Distillation
BERT
LanguageModeling
2021/02/08
유원홍
논문리뷰
•
제목에서 확인할 수 있듯 multitask learning을 이용한 Ranking 시스템에 관련된 내용이 주내용이다

Abstract

•
많은 ranking objective 즉 ranking에서 여러가지 문제를 한번에 풀고싶은 문제와 selection bias를 제거하는 문제를 풀기위한 구조를 고안했다
•
multi objective는 MMoE 구조를 사용하여 풀었고 selection bias는 Wide&Deep 모델을 차용하여 해결하였다

연관 논문 간략 설명

Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts(MMOE)

Abstract

•
recommendation분야 DNN에서도 multitask learning을 많이 사용하고 있습니다
•
하지만 이런 multitask learning이 모든 task에서 잘 동작하지는 않는다(Bert 기반으로 multitask를 풀때 마지막 head는 특정 task에 맞춰서 layer를 구성해줘야 하는 것과 같은 내용 GPT의 경우 많은 양의 데이터를 language model fewshot learning으로 이 문제를 풀려고 하고 있음)
•
이런 multitask learning에서 잘 동작할 수 있는 MMoE 구조를 만들었고 이 내용을 설명하려는 논문입니다

Introduction

•
기존의 multitask learning은 task의 특성과 data 분포를 측정해서 문제를 풀려고 했습니다
Recommending What Video to Watch Next: A Multitask Ranking System - 2019
Recommendation
MultitaskLearning
RankingSystem
2021/01/25
주윤상
논문리뷰

들어가며

이 논문은 2020년 10월에 발표된 논문으로서, 이 분야에서 보기 드물게 dialogue system에서의 continual learning을 다루고 있다. 이 논문의 기본 문제구성의 아이디어는 Lee[2017] Toward Continual Learning for Conversational Agents에서 가져왔다고 할 수 있다. 하지만 이후 Catastrophic forgetting을 극복하는 EWC, Experience Replay 등의 기법을 결합하면서 의미있는 수준의 성능을 확인할 수 있게 되었다. 이 논문의 2달 뒤에는 Facebook의 Madotto et al.[2020] Continual Learning in Task-Oriented Dialogue Systems에서 NLG 및 전체 NLP 영역을 포괄한 더욱 제너럴한 주제로 발전시켰다. (다음에 정리해볼 예정) 추가로 언급할 것은, 이 논문은 정말 친절하게 작성되었다는 점이다. 정말 읽기 쉽다는 느낌이었다. 기존 연구를 체계적으로 정리하여 소개하는 점, 수식이나 노테이션 활용시 애매함이 없게 명확하게 개념을 정리하여 제시한다는 점이 눈에 띈다. 아직 인용수는 많지 않지만, 이 분야를 정리하기 위해 도움이 될만하니 관심있는 분들의 일독을 권한다.

Continual Learning의 어려움

Continual Learning이 필요한 이유는 뭘까? 만약 최초의 모델학습만으로 우리의 딥러닝 모델이 충분히 이후의 모든 입력에 대해 완벽히 대응 가능하다면 필요없겠지만, 안타깝게도 우리의 모델은 서비스 도중에 처음보는 입력, 지식, 도메인을 맞닥뜨리게 된다. 즉, 우리의 모델은 필연적으로 재학습이 필요한데, 특히 오늘 주로 다룰 챗봇(Dialogue System)이라면 online learning이 필수적이다.
그러나, 새로운 데이터를 가미한 재학습을 시도했을 때, Catastrophic forgetting이라는 문제를 만나게 된다. 이전에 잘 학습시킨 지식과 피처가 사라져 버린다. 아래 그림은 이런 현상을 좀더 직관적으로 설명해 준다. 고양이과 금붕어를 잘 구분하는 모델에 새롭게 사자와 개의 이미지 데이터와 라벨을 추가해서 학습을 시켰더니, 놀랍게도 우리의 새로운 모델은 이전에 잘 알아맞추던 고양이와 금붕어를 아주 높은 확률로 사자나 개로 분류하고 있는 것이다. 새로운 class가 추가되는 형태의 continual learning에서 흔히 접하게 되는 현상인데, 이를 클래스간 fairness를 잃어버렸다고 표현한다.
Zhao et al.[2019] Maintaining Discrimination and Fairness in Class Incremental Learning

Task-oriented Dialogue system에서의 Continual Learning

이 논문에서는 MultiWoZ-2.0 데이터셋을 기반으로 새로운 task를 차례차례(continually) 배워가는 모델을 목표로 한다.
Mi et al.[2020] Continual Learning for Natural Language Generation in Task-oriented Dialog Systems
ContinualLearning
EWC
LanguageGeneration
2021/01/18
백병인
논문리뷰
Transformer 아키텍쳐(Vaswani et al., 2017)가 나온 이래 BERT 등으로 발전하면서 NLP 분야에 획기적인 발전이 계속되었지만, 너무 큰 GPU 메모리를 요구하는 구조로 인해 스타트업 직원으로서는 감히 따라가 볼 엄두가 안나는 분야가 되어버렸다.
2020년 새해가 밝아오면서, 16GB짜리 GPU 1장으로도 NLP 연구를 가능하게 한다는 엄청나게 Memory-efficient한 Transformer 구조가 제안되었다는 소식이 전해졌다. 희망찬 소식에 큰 기대를 가지고 바로 그 논문을 들여다본다.

이 논문의 핵심 포인트 3가지

이 논문을 그림 한장으로 요약하면 다음그림과 같다(고 한다.) 지금은 이해하기 어렵다.

LSH Transformer

•
기존 transformer의 dot-product attention을 locality-sensitive hashing attention (이하 LSH attention)으로 바꾸어서 복잡도를 L^2에서 L*logL로 감소시켰다. (L은 sequence 길이)
복잡도:O(L2)=>O(LlogL)복잡도 : O(L^2) => O(LlogL)

Reversible Transformer

•
기존 transformer의 standard residual layer를 reversible residual layer 로 변경하면서 N개 layer마다 별도로 사용하던 메모리를 1번만 사용하도록 개선하였다.

Chunked Reversible Transformer

Kitaev et al., [2020] Reformer: The Efficient Transformer
Reformer
efficient
Transformer
2021/01/11
백병인
논문리뷰

AdderNet

•
CVPR'20
•
Convolution == cross-correlation to measure the similarity between input feature and convolution filters
•
replace convolutions with additions to reduce the computation costs
•
use L1-norm distance between filters and input feature
•
with special back-propagation approach
•
propose an adaptive learning rate strategy

Introduction

•
Convolutions take advantage of billions of floating number multiplications with GPUs

Simplifying approaches to minimize the costs

•
BinaryConnect: binary weight
•
BNN: binary weight, binary activations
•
low bit-width gradient of binarized networks
Binarizing filters of deep neural networks significantly reduces the computation cost

Drawbacks of binarized networks

AdderNet: Do We Really Need Multiplications in Deep Learning?
CNN
Vision
AdderNet
2020/12/14
황인중
논문리뷰

배경

•
스케일이 커지는 대화 시스템을 개선하기 위해서 ASR이나 NLU, ER과 같은 모듈만을 개선하는 것은 효율적이지 않음 (아래 그림은 skill이 증가함에 따라 supervise에 대한 어려움이 있다는 것을 보임)
•
사용자가 적절한 메뉴얼의 발화를 못하여 문제가 생기지만 유저나 세션 전반적으로 봤을 때 이런 패턴이 반복됨
•
사용자와 시스템 간의 인터렉션 피드백 시그널을 가지고 개선을 할 수 있고자 하는 시스템을 만들고자 하였음
•
개선하고자 하는 부분은 시스템 입장에서 발생하는 에러가 아닌 시스템과 유저 입장에서 발생하는 에러임

메커니즘

•
한 세션의 발화 시퀀스 전이 상태를 표현하고 타겟 발화에 대해서는 satisfied 한 발화인지를 판별
•
Absorbing Markov Chain을 통해 모델을 만들어 reachable 한 발화가 있는지를 예측하도록 함
•
메커니즘을 표현한 전체 수식

Absorbing Markov Chain

•
상태 전이 행렬이 존재할 시 이를 무한히 반복했을 때 특정 상태로 수렴되는 것을 이용한 방식
Feedback-based Self-learning in Large-scale Conversational AI Agents
ConversationalAI
SelfLearning
2020/12/07
최태균
논문리뷰
References

Quantum Mechanics

1. Superposition

Quantum state is a (complex) superposition of classical states.
Here, the coefficients are complex numbers called amplitudes.
The states
are the basis of the N-dimensional Hilbert space.
For example, the state can be spin state, angular momentum, etc.

2. Measurement

Introduction to Quantum Computing
Quantum
2020/12/07
이동훈
논문리뷰

Resource Elasticity in Distributed Deep Learning

Resource Elasticity in Distributed Deep Learning
작성자 : 김승일(모두의연구소 연구소장)
발표일 : 20201130 at DeepLAB 논문반

학습자료

논문 링크

논문 요약

아이디어

•
Translation invariant가 모든 경우에 좋을까? CNN이 아래 몇몇 아주 단순한 task를 풀지 못하더라. 위치 정보를 잊게 만드는게 장땡이 아님.
An Intriguing failing of convolutional neural networks and the CoordConv solution
CNN
CoordConv
2020/11/30
김승일
논문리뷰

Abstract

•
Instead of following the commonly used framework of extracting sentences individually and modeling the relationship between sentences
•
Formulate the extractive summarization task as a semantic text matching problem

Introduction

•
Automatic text summarization: compress a textual document to a shorter highlight while keeping salient information on the original text
•
Extractive Summarization

Related Work: Two-Stage Summarization

•
the first stage is usually to extract some fragments of the original text
•
the second stage is to select or modify on the basis of these fragments
•
Chen and Bansal (2018) and Bae et al. (2019): a hybrid extract-then-rewrite architecture
•
Lebanoff et al. (2019); Xu and Durrett (2019); Mendes et al. (2019): extract-then- compress learning paradigm
•
MATCHSUM model can be viewed as an extract-then-match framework

Sentence-Level or Summary-Level?

Questions!

Extractive Summarization as Text Matching
Extractive
Summarization
2020/11/23
윤석채
논문리뷰
작성자 : 남성욱
발표일 : 2020.11.23
•
논문링크
•
참고자료
criteo (크리테오) 광고
BLOB : A Probabilistic Model for Recommendation that Combines Organic and Bandit Signals
Recommendation
VAE
Bandit
2020/11/23
남성욱
논문리뷰
D2RL: Deep Dense Architectures in Reinforcement Learning
작성자 : 김승일(모두의연구소 연구소장)
발표일 : 20201116 at DeepLAB 논문반

학습자료

논문 링크
함께 보면 좋을 참고자료
•
Guided Image Filter
•
Bilateral Filter와 Guided Filter(한글)
Learning to Cartoonize Using White-box Representations
GAN
StyleTransfer
2020/11/16
김승일
논문리뷰

Abstract

•
Problems of Large Deep Neural Network
•
mixup

1. Introduction

•
Shared commonalities of successful large deep neural networks
•
Challenges toward the suitability of ERM
•
How to train on similar but different examples to the training data → Data Augmentation

Contribution of this Research

•
Simple and Data-augnostic Data Augmetation routine: mixup
•
mixup constructs virtual training examples
•
Effects of facilitating mixup

2. From Emperical Risk Minimization to mixup

Concepts of mixup

•
In supervised learning, we minimize the average of the loss function ℓ over the data distribution P, also known as the expected risk:
mixup: Beyond Emperical Risk Minimization
DataAugmentation
Memorization
Regularization
2020/11/09
윤석채
논문리뷰

사전에 알면 좋은 내용들

•
Distillation 모델 관련

Abstract

•
모델 사이즈를 줄이기 위한 또다른 모델 distillation에 대한 내용
•
Distillation을 Self-Attention(SA)을 활용하여 해결
•
self-attention의 value를 scaled dot product 하여 knowledge distillation에 활용
•
teacher assistant라는 방식 도입

논문에서 살펴볼 만한 포인트

•
이미 나온 모델들에 비해 학습 방식이 간단하다.
•
모델 사이즈를 조절하는 하이퍼파라메터의 제약이 적어졌다.

Main Contents

Knowledge Distillation

MINILM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers
BERT
Distillation
LanguageModeling
2020/10/26
최태균
논문리뷰

Total3DUnderstanding

•
Scene understanding and 3D shape modeling from single image

Background

Semantic reconstruction of indoor scenes

•
Scene understanding
•
Object reconstruction

Brief history of scene reconstruction

•
Early works focus on room layout estimation
•
With the advance of CNNs, object pose estimation
•
Instead of bounding box, shape retrieval methods w/ 3d model
•
General shape representation: point cloud, patches, primitives w/ post-processing
•
Voxel-grid representation: computationally intensive and time-consuming
Total3DUnderstanding: Joint Layout, Object Pose and Mesh Reconstruction for Indoor Scenes from a Single Image
3DReconstruction
Vision
2020/10/26
황인중
논문리뷰
작성자 : 이혜민 (gudbooy@gmail.com)
발표일 : 20201019 at DeepLAB 논문반
•
Transfer learning (TL) is a research problem in machine learning (ML) that focuses on storing knowledge gained while solving one problem and applying it to a different but related problem.
본 논문에서는 복잡한 학습 기법이나 새로운 패러다임을 제안하는 것은 아니고, 예전 부터 흔히 사용되었던 Transfer Learning에 관련된 내용을 좀 더 자세히 살펴보고, 어떻게 높은 성능을 낼 수 있는지에 대해서 설명과 이에 대한 Transfer 관련 Recipe을 제안.
여기서 제안된 Recipe과 아주 간단한 Heuristic이 들어간 Transferring 기법만 적용해서 20개의 Dataset에 대해서 SOTA 수준의 성능을 달성
기존 SOTA 기법들의 문제점들
•
복잡하고 긴 Tranining 과정이 필요하며, 더욱이 특정 Target Domain에 맞춘 Dataset이 어느정도 갖춰야하는 문제
•
수고스러운 Hyperparameter Tuning
반대로 Big Transfer의 경우에는 위의 과정이 없이 SOTA에 필적한 성능을 낼 수 있다고 이야기한다.
본 논문에서는 효과적인 Transfer를 만들기 위한 필수 구성요소들 Dataset의 Scale, Model Architecture, Tranining Hyperparameter 가 어떻게 Transfer 성능과 연관되는지에 대한 empirical 한 Study를 진행
Big Transfer (BiT): General Visual Representation Learning
Vision
CNN
TransferLearning
2020/10/19
이혜민
논문리뷰
"Duration Prediction" existed in early TTS system as HMM-based models and even in Deep Voice 2 (2017).
Seq-to-seq model w/ attention mechanism removed the need for duration prediction.

Tacotron 2 (2018)

seq-to-seq model
auto-regressive decoder
attention mechanism (location-sensitive)

Problems with auto-regressive attention based models

early cutoff
repetition
skipping

Efforts to improve the robustness of auto-regressive attention based models

Non-Attentive Tacotron: Robust and Controllable Neural TTS systhesis Including Unsupervised Duration Modeling
Voice
Tacotron
2020/10/19
이동훈
논문리뷰
작성자 : 김승일(모두의연구소 연구소장)
발표일 : 20201012 at DeepLAB 논문반

학습자료

논문 링크
함께 보면 좋을 참고자료
•
Attention is All You Need (Transformer를 처음 제안한 논문)
•
Illustrated Transformer (Transformer를 알기 쉽게 표현해 주는 블로그)
•
BERT (Transformer를 이용한 Pre-trained Language Model)
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
Transformer
2020/10/12
김승일
논문리뷰