Search
Duplicate
💫

AI Choreographer

최종 업데이트
8/31/2021, 7:42:00 AM
Tags
Paper
일시
2021/08/31
작성자
장성준
포스팅 종류
논문정리
✅ main

AI Choreographer: Music Conditioned 3D Dance Generation with AIST++

AIST ++ 데이터셋과 더불어, 이를 활용한 FACT 모델 소개.
FACT 모델 : 음악에 맞추어 움직이는 3D 댄스 모션 생성.
FACT 모델이란?
기존과 다른점
왜 좋냐?
판단 기준은?
데이터셋
구조
본인들의 컨트리뷰션에 대해서 다음과 같이 세가지를 말함.
1.
FACT 모델
2.
AIST ++ 데이터셋
3.
긴 모션 시퀀스에서 구조 디자인이 중요하다는 점을 밝힘.
그렇다면, FACT 모델에서 중요했던 구조 디자인이 무엇이냐.
1) the use of full-attention in an auto-regressive model
일방향으로 causal한 어텐션이 아니라 full-attention이 파워풀하다고 함.
근거 : 인풋에서 모션 도메인이 context window 가 특히나 작은 편이라 full-attention 이 더 파워풀한 모델.
2) future-N supervision
하나의 아웃풋 모션이 아니라 N개의 아웃풋 모션을 예측하는게 더 좋다고 함.
Break, Ballet Jazz, Krump and Middle Hip-hop
3) early fusion of two modalities.
실험환경 :
4 TPUs, 3 days.
Steps : total 300k steps
Batch size : 16
Optimizer : Adam
Learning rate : 1e-4 > 1e-5(60k) > 1e-6(100k)
Loss : L2 Loss
Model
transformers
10 attention heads ( 800 hidden size )