Search
🕺🏽

AIST Dance DB

Created
8/14/2021, 3:20:00 PM
Tags
2021
dataset
일시
2021/08/15
작성자
윤중선
포스팅 종류
Empty
✅ main

AIST Dance DB

바로가기 🐱‍🏍

AIST++ Dance VIDEO DB

Quick overview

냠🎂

DB Design policy

1.
저작권
전문 뮤지션들로 장르별 음악을 만들었다고 한다. 또한 5년이상 춤을 춰온 전문댄서들이 이를 background music으로 틀어놓고 춤을 췄다
2.
다양한 장르
남,녀 40명씩, 10가지 장르를, basic level dance와 advanced level dance로 나누어서 촬영
3.
다양한 각도
한번 찍을 때, 최대 9개의 카메라를 동원해서 촬영, 180cm띄워서 촬영했으며(9번카메라 제외)
정면카메라는 최대한 신체의 전체부분을 찍을수 있게 디자인했다고함
9번카메라는 바닥에서 40cm

Naming rule

gBR ⇒ genre, Break dance
sBA ⇒ situation, Basic dance
mBR3 ⇒ music, Breakdance, 110bpm
ch04 ⇒ 기술이름임, 테이블표를 봐야 알 수 있음
+(추가됨)기술이름표(?).xlsx

Refined video

raw video ⇒ (자... 카메라 준비... 노래들어갈께요... 컷!)등 노이즈 모두 포함
refined video ⇒ 춤추는부분만 자르고, 노래 다시 입힘(노이즈없는노래)
(raw video는 쓸 일 딱히 없을듯)

Work?

Q1 genre classification? ⇒ good
Q2 training time ⇒ super short(2unit, 40frams, 0.66s)
Q3 var among genre in classification ⇒ yes(??)
Q4 beat position ⇒ not good, but... still room
⬆ Video db
⬇ Motion db

AIST++ Dance Motion Dataset

Human Motion Sequence

shape
dict = {smpl_loss: (0), smpl_poses: (N,72), smpl_scaling:(0), smpl_trans:(N,3)}
24(bodyparts)
smpl_poses: Sequences of SMPL pose parameters. Array shape is (N, 24, 3).
smpl_scaling: Human body scaling factor. A scalar value for each sequence.
smpl_trans: Motion 3D trajectory. Array shape is (N, 3).
N = 영상길이(s) x 60(f/s)

3D&2D Keypoints Annotation

shape
dict = {keypoints2d: (9,N,17,3), det_scores: (9,N), timestamps:(N)}
dict = {keypoints3d: (N,17,3), keypoints3d_optim: (N,17,3)}
keypoints3d: Sequences of 3D keypoints reconstructed frame-by-frame. Array shape is (N, 17, 3) = (프레임, joints, [x,y,confidence])
17(body parts)
keypoints3d_optim: Sequences of 3D keypoints reconstructed with temporal smoothness and constrains.
keypoints2d: Multi-view frame-by-frame 2D keypoints detection results. Array shape is (9, N, 17, 3) = (카메라, 프레임, joints, [x,y,confidence])