딥랩논문반 활동 (클릭)

KDD'17

(SIGKDD Conference on Knowledge Discovery and Data Mining)

metapath2vec | Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining

Abstract

word2vec → node2vec (homogeneous) → metapath2vec (heterogeneous)

Metapath-based word2vec method

Background: Heterogeneous Graph

Mining Heterogeneous Information Networks: A Structural Analysis Approach (KDD'12)

Heterogeneous Graph?

The graph where the number of types of nodes and their relations are more than 1

Schema & Network

Metapath

Deformable DETR (ICLR'21)

Deformable-DETR.ppt

이 논문은 Contemporary neural networks still fall short of human-level generalization 이라는 문장으로 시작한다. human-level generalization이라는 키워드에 관심이 없는 분이라면 수식하나 없는 이 논문에서 크게 건질것이 없을지도 모른다.

물론 딥러닝은 쓸만하다. 놀라울 때도 가끔 있다. 그러나 여전히 충분히 만족스럽지 않다면 그 근본적인 원인은 무엇일까? 이 논문의 저자들은 이 근본적인 원인을 Binding Problem 이라고 정의한다.

Binding Problem

딥러닝은 Connectionist(연결주의자)들의 산물이다. 이 방법이 가진 단점은 네트워크상에 분포한 정보(information)를 symbolic한 방법으로 연결(bind)지어 내지 못한다는 점이다.

그러나, 저자들의 아래 주장에 따르면, symbol manipulation process야말로 인간수준 지능의 가장 핵심적 요소이다.

Integrating symbolic processing into neural networks is of fundamental importance for realizing human-level AI

이것이 왜 중요할까? 인간지능의 핵심은 기존의 지식을 결합(composition)하여 이전에 보지 못한 데이터에 대해서도 추론을 해낸다는 점이다. 그러려면 개념(구체적이든, 추상적이든) 정보를 재활용할 수 있어야 하는데, 연결주의적 관점으로는 네트워크 상 어딘가 존재하는 개념을 콕 찍어서 재활용하기가 매우 어렵다. 이런 어려운 점을 binding problem이라고 하는데, 이 문제를 해결하려면 다음 3가지가 가능해야 한다.

1)Segregation : ability to form(separate) meaningful entities from unstructured sensory inputs

> 어떤 개념을 그것과 그것이 아닌것 사이의 경계를 찾아 구별해 낼수 있어야 한다.

KDD'16 paper, Standford

Brief Introduction

For now, traditional & typical node embedding technique

Propose graph feature learning approaches

Background

Problems in Graph

Node classification (node-level task)

Link prediction (link-level task)

Graph classification (graph-level task)

Node Embedding in Graph

A mapping of nodes to a low-dimensional space of features

Traditionals → node embeddings → GNNs → Knowledge graphs → Deep Generative graph models

Conventional method (Linear algebraic approach)

PCA (Principal Component Analysis)

DETR.ppt

발표자료를 첨부합니다.

내 안드로이드폰이 강화학습을 위한 environment가 되게 해 주는 멋진 플랫폼이 나왔다니!! 역시 딥마인드!!

AndroidEnv라는 이름을 보자마자 무릎을 탁 치게 되었다. 게임 밖의 현실 세계에 적용하기가 너무나 어렵던 강화학습이 내 손안에 잡히는 구체적인 현실 문제에 적용 가능해 지는 무한한 가능성이 상상되지 않는가?

하지만 흥분은 잠시, 5초만에 몇가지 의문점들이 밀려온다.

강화학습이라고? environment가 게임이 아니라면 reward는 어떻게 정의하지?

그리고 action과 observation은 어떻게 정의되는 거지? agent는 사람처럼 행동하는 건가? 아니면 정말 마블의 자비스나 her의 사만다 같이 사람과 interaction할 수 있는 강화학습 agent를 만들 수 있는 건가?

결론부터 얘기하자면, AndroidEnv는 OpenAI Universe같이 강화학습 agent를 다양한 task에 최적화되도록 훈련시킬 수 있는 범용 environment platform이다. 정말 대강 후려쳐 정리하자면 OpenAI Universe같은 것을 Android 환경에서 돌릴 수 있게 한 것인데, 그렇기 때문에 훨씬 실용적일 수 있고, 모바일이라는 UI특성 때문에 action space가 터치스크린 이벤트 방식으로 구현되어 있다 정도의 차이가 있다. (하지만 논문을 읽어보면 행간에 많은 고민들이 녹아 있음을 알수 있다)

그럼 AndroidEnv를 소개한 논문을 흐름에 따라 눈에 띄는 점만 정리하면서 이것의 의미를 좀더 생각해 보자.

I. Introduction

VAE는 생성형 모델 중 Autoregressive보다 빨리 수렴하면서도 GAN 계열보다 안정적으로 학습되는 장점을 가집니다. 변분추론(variational inference) 논리에 따라 입력데이터의 차원(D)보다 훨씬 적은 차원(K)으로 입력데이터의 추상표현을 담은 latent variable을 얻을 수 있다는 장점도 있습니다.

그러나 VAE는 GAN에 비해 생성된 이미지의 디테일이 뚜렷하지 않다는 단점이 있었습니다. 그래서 고화질의 이미지 생성 연구는 주로 GAN 방식으로 많이 진행되어 왔습니다. 그러나 VAE 계열의 연구도 계속되어 왔는데, 오늘 논문에서 소개하는 VDVAE(Very Deep VAE)는 VAE의 encoder, decoder의 레이어를 깊이 쌓았을 때 고화질 이미지 생성에도 뛰어는 성능을 보여준다는 것을 확인해 줍니다.

논문 첫페이지에 소개한 샘플이미지를 한번 더 보실까요? 아래 이미지를 보면 VAE로도 GAN에 뒤지지 않는 고화질(256X256)의 이미지를 사실적으로 생성하고 있음을 알수 있습니다.

VAE를 개선하여 고화질의 이미지를 생성하려는 시도는 대략 아래와 같은 방식들이 사용되어 왔습니다.

디코더를 Flow 방식의 여러 레이어로 구성

사실 처음보는 Anchor free Detector 논문이라 궁금해서 본건데 생각보다 내용이 없다

Abstract

Object Detection 은 매우 다양한 곳에 사용될 수 있지만 많은 딥러닝 기반 방식들이 모델이 크고 긴 Inference time 을 필요로 하기에 Effectiveness와 Efficiency 의 조율이 필요

이를 위해 pre-defined 된 anchor를 제거한 anchor-free 모델 사용해 두가지를 모두 잡는 모델을 만들어 보고자함

TTFNet 이라 불리는 anchor-free 모델을 사용해 이를 서버와 모바일환경에 최적화 시킨 PAFNet (Paddle Anchor Free Network) 을 제안

1. introduction

Object Detection은 CNN 을 적용하게 되면서 성능이 향상 되었었음

Region Proposal 과 Classification을 한번에 학습하는 One-stage 방식과 분리하여 진행하는 Two-stage 방식으로 발전해 왔는데 최근 속도에 큰 장점이 있는 One-stage 모델이 성능까지 좋아지며 이 방식이 주류를 이루고 있음

하지만 One-stage 모델의 경우 사전에 정의된 고정된 앵커가 존재하는데 이 매우 많은양의 앵커가 야기하는 일반화 성능의 손실이 크고 연산량도 매우 증가됨

이것을 제거하고 직접 위치를 Regression 하는 모델을 anchor-free 모델이라 부름

여기에 설명이 너무 다 나와서 뒤는 짜름

PPT로 공유드립니다.

DALLE.ppt

VAE 설명을 위해 예전에 모두연에서 발표했던 발표 자료도 공유 드립니다.

AAE_발표자료_최종.ppt

Facebook paper 2019

Deep Learning Recommendation Model for Personalization and Recommendation Systems

Brief Introduction

Two primary perspective

Recommendation systems

Predictive analytics

Propose a personalization model with such two perspectives

Uses embeddings to process sparse features into dense features

Interacts these features using the statistical techinques (Factorizaion Machine)

Finds the event probability with MLP

Background Concept

Embedding

An embedding is a mapping of a discrete variable to a vector of continuous numbers

Dot-product of two shows similiarity

Learning from Noisy Labels with Deep Neural Networks: A Survey

My Motivation

쌓여가는 사진 데이터를 활용한 다양한 분류기 시도 중

데이터는 많지만 정제된 클린 데이터셋은 많이 없음

노이즈 데이터셋을 어떻게 잘 활용해서 모델 성능 개선을 할 수 있을까?

What is noise label?

: 잘못 어노테이션된 레이블들

기존의 데이터에대한 생각

Robust Training에서 달성하고 싶은 목표

: 일부 노이즈한 레이블이 들어와도 노이즈에 강한 학습을 수행하자

Introduction

들어가기 전에

공유 주제

SuperGLUE가 무엇?

NLU Tasks 설명

NLP 분야에서의 언어유희

SuperGLUE: 'Stickier' + GLUE (General-Purpose Language Understanding Evaluation)

ELMo, BERT - Sesame Street

NLU Tasks - 기계에 맞는 NLU (Natural Language Understanding) 문제

현 시점에서 사람한테는 쉽지만 기계에게 어려운 문제

Paper

EventCap: Monocular 3D Capture of High-Speed Human Motions using an Event Camera

Background: 3D Human Motion Capture

Infra-based motion capture

Sensor-based motion capture

Marker-based motion capture

Limitation of infra-based motion capture

Costly and only possible indoor

Intrusive for the users to wear the marker suites

Markerless image-based method

Overcome the limitation of infra-based motion capture method

TransGAN: Two Transformers Can Make One Strong GAN

1. Abstract

현재 Computer Vision Task에서 transformer가 좋은 성능으로 많은 관심을 받고 있으나 classification이나 detection에만 한정된 경우가 많음

Vision에서 어렵기로 유명한 GAN에서도 이것을 적용해보고자 하는 의지를 보임

기존 ConvNet 기반 GAN에 견줄수 있는 높은 성능을 보여 transformer의 가능성을 보임

2. Our Contributions

오직 transformer만을 사용한 최초의 completely free of convolution 모델

기존 transformer 기반 CV모델들은 classification 혹은 detection에만 주로 사용되었기에  구조나 색상, 질감 등의 공간적인 일관성에도 효과가 좋은지 분명하지 않음

이미지를 출력하는 몇 안되는 transformer 기반 모델들이 존재하나 하나같이 convolution 기반의 encoder를 사용함

이것을 해결하기 위한 방법을 제시

3. Technical Approach

A Journey Towards GAN with Pure Transformers

Brief Introduction

Indicate the "essential difference" between anchor-based and anchor-free detectors

Propose an "adaptive training sample selection" to automatically select positive and negative training samples

Demonstrate tiling multiple anchors per location is useless

Achieve SOTA performance on MS COCO without overhead

Recent vision models anchor-based & anchor-free

Mainly two methods for vision processing

Anchor-based

Double-stage: Faster R-CNN

Single-stage: Single Shot Detection (SSD)

Anchor-free

Keypoint-based method: CornerNet

Center-based method: YOLO

Difference Analysis between two

RetinaNet (anchor-based) vs. FCOS (anchor-free)

들어가며

지난번 다루었던 Dialogue System에서의 Continual Learning 의 주제를 더욱 폭넓게 다룬 논문으로서 흥미롭게 볼 수 있었다. 지난번 다룬 논문은 NLG(Natural Language Generation)에만 국한되어 있었다. 그러나 본 논문에서는 Dialogue System을 위해서 필요한 모듈구성을 아래와 같이 정리하고 있다.

Natural Language Understanding (NLU)

Dialogue State Tracking (DST)

Natural Language Generation (NLG)

Dialogue Policy (DP)

본 논문의 1차적 의의는 Continual Learning 기반의 Dialogue System을 통합 구성하기 위한 문제정의, 데이터셋, Metric, SOTA approach를 체계적으로 정리했다는 데 있다. 이외에도 본 논문이 제시하는 AdapterCL이라는 Arhitectural approach가 있어서, 이것의 성능상 개선효과를 주의깊게 볼만하다.

본 논문의 문제구성

본 논문의 Continual Learning 기반 (Task-oriented) Dialogue System의 개념은 Lee(2017) Toward continual learning for conversational agents 에서 제시된 것과 대동소이하다.

제목에서 확인할 수 있듯 multitask learning을 이용한 Ranking 시스템에 관련된 내용이 주내용이다

Abstract

많은 ranking objective 즉 ranking에서 여러가지 문제를 한번에 풀고싶은 문제와 selection bias를 제거하는 문제를 풀기위한 구조를 고안했다

multi objective는 MMoE 구조를 사용하여 풀었고 selection bias는 Wide&Deep 모델을 차용하여 해결하였다

연관 논문 간략 설명

Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts(MMOE)

Abstract

recommendation분야 DNN에서도 multitask learning을 많이 사용하고 있습니다

하지만 이런 multitask learning이 모든 task에서 잘 동작하지는 않는다(Bert 기반으로 multitask를 풀때 마지막 head는 특정 task에 맞춰서 layer를 구성해줘야 하는 것과 같은 내용 GPT의 경우 많은 양의 데이터를 language model fewshot learning으로 이 문제를 풀려고 하고 있음)

이런 multitask learning에서 잘 동작할 수 있는 MMoE 구조를 만들었고 이 내용을 설명하려는 논문입니다

Introduction

기존의 multitask learning은 task의 특성과 data 분포를 측정해서 문제를 풀려고 했습니다

들어가며

이 논문은 2020년 10월에 발표된 논문으로서, 이 분야에서 보기 드물게 dialogue system에서의 continual learning을 다루고 있다. 이 논문의 기본 문제구성의 아이디어는 Lee[2017] Toward Continual Learning for Conversational Agents에서 가져왔다고 할 수 있다. 하지만 이후 Catastrophic forgetting을 극복하는 EWC, Experience Replay 등의 기법을 결합하면서 의미있는 수준의 성능을 확인할 수 있게 되었다. 이 논문의 2달 뒤에는 Facebook의 Madotto et al.[2020] Continual Learning in Task-Oriented Dialogue Systems에서 NLG 및 전체 NLP 영역을 포괄한 더욱 제너럴한 주제로 발전시켰다. (다음에 정리해볼 예정) 추가로 언급할 것은, 이 논문은 정말 친절하게 작성되었다는 점이다. 정말 읽기 쉽다는 느낌이었다. 기존 연구를 체계적으로 정리하여 소개하는 점, 수식이나 노테이션 활용시 애매함이 없게 명확하게 개념을 정리하여 제시한다는 점이 눈에 띈다. 아직 인용수는 많지 않지만, 이 분야를 정리하기 위해 도움이 될만하니 관심있는 분들의 일독을 권한다.

Continual Learning의 어려움

Continual Learning이 필요한 이유는 뭘까? 만약 최초의 모델학습만으로 우리의 딥러닝 모델이 충분히 이후의 모든 입력에 대해 완벽히 대응 가능하다면 필요없겠지만, 안타깝게도 우리의 모델은 서비스 도중에 처음보는 입력, 지식, 도메인을 맞닥뜨리게 된다. 즉, 우리의 모델은 필연적으로 재학습이 필요한데, 특히 오늘 주로 다룰 챗봇(Dialogue System)이라면 online learning이 필수적이다.

그러나, 새로운 데이터를 가미한 재학습을 시도했을 때, Catastrophic forgetting이라는 문제를 만나게 된다. 이전에 잘 학습시킨 지식과 피처가 사라져 버린다. 아래 그림은 이런 현상을 좀더 직관적으로 설명해 준다. 고양이과 금붕어를 잘 구분하는 모델에 새롭게 사자와 개의 이미지 데이터와 라벨을 추가해서 학습을 시켰더니, 놀랍게도 우리의 새로운 모델은 이전에 잘 알아맞추던 고양이와 금붕어를 아주 높은 확률로 사자나 개로 분류하고 있는 것이다. 새로운 class가 추가되는 형태의 continual learning에서 흔히 접하게 되는 현상인데, 이를 클래스간 fairness를 잃어버렸다고 표현한다.

Task-oriented Dialogue system에서의 Continual Learning

이 논문에서는 MultiWoZ-2.0 데이터셋을 기반으로 새로운 task를 차례차례(continually) 배워가는 모델을 목표로 한다.

Transformer 아키텍쳐(Vaswani et al., 2017)가 나온 이래 BERT 등으로 발전하면서 NLP 분야에 획기적인 발전이 계속되었지만, 너무 큰 GPU 메모리를 요구하는 구조로 인해 스타트업 직원으로서는 감히 따라가 볼 엄두가 안나는 분야가 되어버렸다.

2020년 새해가 밝아오면서, 16GB짜리 GPU 1장으로도 NLP 연구를 가능하게 한다는 엄청나게 Memory-efficient한 Transformer 구조가 제안되었다는 소식이 전해졌다. 희망찬 소식에 큰 기대를 가지고 바로 그 논문을 들여다본다.

이 논문의 핵심 포인트 3가지

이 논문을 그림 한장으로 요약하면 다음그림과 같다(고 한다.) 지금은 이해하기 어렵다.

LSH Transformer

기존 transformer의 dot-product attention을 locality-sensitive hashing attention (이하 LSH attention)으로 바꾸어서 복잡도를 L^2에서 L*logL로 감소시켰다. (L은 sequence 길이)

복잡도 : O(L^2) => O(LlogL)

Reversible Transformer

기존 transformer의 standard residual layer를 reversible residual layer 로 변경하면서 N개 layer마다 별도로 사용하던 메모리를 1번만 사용하도록 개선하였다.

Chunked Reversible Transformer

AdderNet

CVPR'20

Convolution == cross-correlation to measure the similarity between input feature and convolution filters

replace convolutions with additions to reduce the computation costs

use L1-norm distance between filters and input feature

with special back-propagation approach

propose an adaptive learning rate strategy

Introduction

Convolutions take advantage of billions of floating number multiplications with GPUs

Simplifying approaches to minimize the costs

BinaryConnect: binary weight

BNN: binary weight, binary activations

low bit-width gradient of binarized networks

Binarizing filters of deep neural networks significantly reduces the computation cost

Drawbacks of binarized networks

배경

스케일이 커지는 대화 시스템을 개선하기 위해서 ASR이나 NLU, ER과 같은 모듈만을 개선하는 것은 효율적이지 않음 (아래 그림은 skill이 증가함에 따라 supervise에 대한 어려움이 있다는 것을 보임)

사용자가 적절한 메뉴얼의 발화를 못하여 문제가 생기지만 유저나 세션 전반적으로 봤을 때 이런 패턴이 반복됨

사용자와 시스템 간의 인터렉션 피드백 시그널을 가지고 개선을 할 수 있고자 하는 시스템을 만들고자 하였음

개선하고자 하는 부분은 시스템 입장에서 발생하는 에러가 아닌 시스템과 유저 입장에서 발생하는 에러임

메커니즘

한 세션의 발화 시퀀스 전이 상태를 표현하고 타겟 발화에 대해서는 satisfied 한 발화인지를 판별

Absorbing Markov Chain을 통해 모델을 만들어 reachable 한 발화가 있는지를 예측하도록 함

메커니즘을 표현한 전체 수식

Absorbing Markov Chain

상태 전이 행렬이 존재할 시 이를 무한히 반복했을 때 특정 상태로 수렴되는 것을 이용한 방식

작성자 : 김승일(모두의연구소 연구소장)

발표일 : 20201130 at DeepLAB 논문반

학습자료

논문 요약

아이디어

Translation invariant가 모든 경우에 좋을까? CNN이 아래 몇몇 아주 단순한 task를 풀지 못하더라. 위치 정보를 잊게 만드는게 장땡이 아님.

Abstract

Instead of following the commonly used framework of extracting sentences individually and modeling the relationship between sentences

Formulate the extractive summarization task as a semantic text matching problem

Introduction

Automatic text summarization: compress a textual document to a shorter highlight while keeping salient information on the original text

Extractive Summarization

Related Work: Two-Stage Summarization

the first stage is usually to extract some fragments of the original text

the second stage is to select or modify on the basis of these fragments

Chen and Bansal (2018) and Bae et al. (2019): a hybrid extract-then-rewrite architecture

Lebanoff et al. (2019); Xu and Durrett (2019); Mendes et al. (2019): extract-then- compress learning paradigm

MATCHSUM model can be viewed as an extract-then-match framework

Sentence-Level or Summary-Level?

Questions!

작성자 : 남성욱

발표일 : 2020.11.23

논문링크

참고자료

criteo (크리테오) 광고

작성자 : 김승일(모두의연구소 연구소장)

발표일 : 20201116 at DeepLAB 논문반

학습자료

Guided Image Filter

Guided Image Filtering

Bilateral Filter와 Guided Filter(한글)

Bilateral Filter / Guidance Filter

Guided Image Filter, 그리고 Fast Guided Filter

Abstract

Problems of Large Deep Neural Network

1. Introduction

Shared commonalities of successful large deep neural networks

Challenges toward the suitability of ERM

How to train on similar but different examples to the training data → Data Augmentation

Contribution of this Research

Simple and Data-augnostic Data Augmetation routine: mixup

mixup constructs virtual training examples

Effects of facilitating mixup

2. From Emperical Risk Minimization to mixup

Concepts of mixup

In supervised learning, we minimize the average of the loss function ℓ over the data distribution P, also known as the expected risk:

Total3DUnderstanding

Scene understanding and 3D shape modeling from single image

Relation Networks for Object Detection

Cooperative Holistic Scene Understanding: Unifying 3D Object, Layout, and Camera Pose Estimation

Background

Semantic reconstruction of indoor scenes

Scene understanding

Object reconstruction

Brief history of scene reconstruction

Early works focus on room layout estimation

With the advance of CNNs, object pose estimation

Instead of bounding box, shape retrieval methods w/ 3d model

General shape representation: point cloud, patches, primitives w/ post-processing

Voxel-grid representation: computationally intensive and time-consuming

"Duration Prediction" existed in early TTS system as HMM-based models and even in Deep Voice 2 (2017).

Seq-to-seq model w/ attention mechanism removed the need for duration prediction.

Tacotron 2 (2018)

seq-to-seq model

auto-regressive decoder

attention mechanism (location-sensitive)

Problems with auto-regressive attention based models

early cutoff

repetition

skipping

Efforts to improve the robustness of auto-regressive attention based models

작성자 : 김승일(모두의연구소 연구소장)

발표일 : 20201012 at DeepLAB 논문반

학습자료

Attention is All You Need (Transformer를 처음 제안한 논문)

Attention Is All You Need

Illustrated Transformer (Transformer를 알기 쉽게 표현해 주는 블로그)

The Illustrated Transformer

BERT (Transformer를 이용한 Pre-trained Language Model)

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding