Search
🎹

Rubato LAB 활동 (클릭)

Search
약간 디테일한 부분은 본 페이지의 코드 내에 주석 참고 요망.
임베딩 → 임베딩 레이어가 아니라 linear layer를 추가해서
PositionalEncoding Class 추가
모든 트랜스포머 인코더에서 마스킹 제거.
트랜스포머 인코더 구현
뒤쪽 트랜스포머 인코더 수정사항.
Transformer 전체 구조
모델 수정사항
modeling
2021/09/28
장성준
코딩
AI Choreographer: Music Conditioned 3D Dance Generation with AIST++
Untitled
AIST ++ 데이터셋과 더불어, 이를 활용한 FACT 모델 소개.
FACT 모델 : 음악에 맞추어 움직이는 3D 댄스 모션 생성.
FACT 모델이란?
기존과 다른점
왜 좋냐?
판단 기준은?
💫
AI Choreographer
Paper
2021/08/31
장성준
논문정리
ACM transactions on graphics (TOG), 2015 https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf
Introduction
2D 이미지를 3D 이미지로 변환할 때 문제점
방법
SMPL이란?
SMPL은 다음과 같은 Blending 기법들을 사용함
Related work
Blend Skinning
Auto-rigging
Blend Shape
Learning Pose Models
Learning Pose and Shape Models
Model
SMPL(Skinned Multi-Person Linear model) : Skinning1^1 및 Blend Shape2^2 를 기반으로 하여 수천 개의 3D 신체 스캔을 통해 학습된 인체의 사실적인 3D 모델3^3
Learning a Model : Training Method
💃🏻
SMPL(Skinned Multi-Person Linear model) Overview
Paper
2021/08/24
신유경
논문정리
Data preprecessing
카메라 제외한 기준으로 음악 전처리 - 3d keypoint 데이터셋 기준으로 처리
⇒ npy 파일로 결과물 공유드리도록 하겠습니다.
전처리 음악이랑 point3D, SMPL 셋으로 묶어보도록 하겠습니다.
전처리 파일
데이터셋 길이 맞춤
Untitled
총 데이터 개수
Untitled
3D keypoints - 중선
쩜쩜쩜..
🚬
AIST ++ 데이터셋 전처리하기
2021/08/17
AIST++ dataset 다운로드
AIST++ Dataset - Download
60 fps 영상 약 12000개, mp4 형식
2D, 3D, 모션 등 트렉킹 데이터 제공
Seq data 정리
9개 c (카메라 데이터 포함)
총 480 시퀀스
17, 3 은 포즈 키포인트
mp4 데이터 정리
시퀀스 데이터에 포함된 각 영상 데이터들 ⇒ 매칭 필요
🌬️
AIST dataset Code로 살펴보기
dataset
2021/08/17
Junseop So
데이터셋 분석
AIST Dance DB
AIST++ Dance VIDEO DB
Quick overview
냠🎂
DB Design policy
저작권
다양한 장르
다양한 각도
Naming rule
+(추가됨)기술이름표(?).xlsx
🕺🏽
AIST Dance DB
2021
dataset
2021/08/15
윤중선
Generating Music with Expressive Timing and Dynamics
'Timing' and 'Dynamics' ⇒ Note on/off and velocity
모델 아키텍쳐보다는 음악적인 데이터를 학습하는데 중점
Overview
컨타이즈된 노트 vs 사람이 만든 노트
컨타이즈 → 같은 박자, 같은 세기라서 어색하게 느껴진다. (예제는 좀 너무함)
여기서 만드는 건 Sound가 아닌 MIDI 데이터, Audio를 바로 만드는 것이 아님
Dataset
Yamaha e-Piano Competition (~1400 performances by skilled pianists)
Representation
🎧
PerformanceRNN
2021/08/03
MIDI란?
MIDI 파일의 구조
MIDI는 크게 1개의 헤더 청크와 n 개의 트랙 청크로 이루어져 있다.
트랙 청크는 연주 되어야하는 음표가 담겨있는 오선지와 같은 역할을 한다. 하나의 곡에서도 악보를 보면 악기, 음자리표 등에 따라 많은 오선지가 필요하다. 따라서 트랙 청크는 n개로 이루어져 있다.
그리고 이러한 트랙 청크의 개수라든지 곡에 대한 설명과 같은 정보가 있는 헤더 청크가 하나 필요하다.
MIDI파일은 가장 앞에 헤더 청크가 있고 그 뒤에 트랙 청크가 배치되는 구조를 가지고 있다.
🕔
MIDI Data
midi data
2021/08/03
윤현근
Abstract
VR 등에 적용이 가능한 춤동작 합성 모델을 소개
춤 동작과 비트 사이에 자연스러운 춤 동작 생성
생성된 춤 동작이 자연스럽게 변화 차이가 있어야 한다.
Seq2Seq에 Attention을 적용한 모델 사용
Cross domain에서 Seq2Seq 모델을 사용
평가에선 레퍼런스에 없는 기준으로 테스트셋 구성
춤 데이터셋은 음악과 연관된 춤 동작을 포함하고 있다.
Intro & Related work
Audio to video 분석은 cross domain sequence analysis의 특별한 경우
기본적으로 Audio와 video의 상관 관계는 크지 않다.
Music 과 Dance의 상관 관계는 큰편이다.
Music beat와 춤동작의 beat는 관련이 깊다.
춤동작 생성(Dance movement generation)에는 HMM, LSTM 등을 이용한 접근법
🎃
Yu Qi et al. (2019) Music Driven Dance Generation
Paper
2021/08/03
Junseop So
논문정리
음성 데이터 Basic
음악에서 주로 쓰이는 데이터 형태로는 wave data와 midi data가 있습니다.
간략히 말하면,
wave data는 소리를 디지털 파형으로 저장한 데이터이고, (x축:시간, y축:진폭)
midi data는 각종 악기를 제어하는 전기 신호 데이터입니다. (x축:시간, y축:건반)
소리로 들어볼까연.
Wave Data
신호는 '시간에 따른 일정한 양의 변화량'이고, 오디오 신호의 경우 여기서 변하는 양은 '기압(진폭)'입니다.
소리를 결국 디지털 데이터로 나타내려면, 시간에 따른 기압(진폭)을 채취해야합니다.
'시간에 따라 기압 샘플을 채취한 데이터' = wave data
🔊
Wave data 와 Librosa
wave data
midi data
Librosa
spectrogram
2021/07/20
엄광호
모두의연구소의 LAB을 대표하여 EO 촬영을 진행했습니다.
📸
EO 촬영
Youtube
EO
2021/05/18
이벤트
구현 코드
Input data embedding은 Linear로 처리
pos_emb 파트 수정이 필요
모델학습
Dataset ⇒ keypoints, mel 정상적으로 구현
성준님께서 수정해주신 모델로 한번 학습돌려보겠습니다.
🎳
FACT model
소준섭