Rubato LAB

박다해

4/23(토)

장르를 통한 Midi & Wave file 자동생성 → Song form 작곡하기

(인공지능의 자동생성의 원리나 DDSP에 대해서 연구를 하고 싶어요.)

작곡한 음악과 Visual Interaction이 이루어질 수 있는 작품으로 연결

AI Song Contest 참여

——————————————————————————————————

5/14(토)

Tone Transfer- DDSP

Nsynth - Vocoder

김관호 개인프로젝트 진행내용

계획

Song Contest 참가

4/10 ~ 4/16

not yet

2주차

4/17 ~ 4/23

기초 공부

1주차 : ㅠㅠ

2주차 : 도레미가 무엇인지 배우는 중입니다

Automatic Piano Music Transcription

1주차 4.10 ~ 4.16

관련 자료를 찾고 프로젝트 계획을 세웠다.

관련 자료

계획

2주차 4.17 ~ 4.23

논문을 읽고 정리했다.

ONSETS AND FRAMES: DUAL-OBJECTIVE PIANO TRANSCRIPTION

onsets and frames 정리.jpeg

영상 입력 시 음악 추천

Intro & Backgroud

Related Work

Dataset

Model

1주차

영상 데이터 입력 시, 음악 추천

2주차

Paper

Untitled

AI Song Contest 2022

송콘테스트 기획회의

음악이랑 영상 같이 만들어서 올리기

무슨 음악을 만들까?

소음이나 현장음을 통해서 음악만들기 → 어떤 장르의 노래?

참가자 작업 - 송콘테스트 제출일 2022. 06. 01 마감 (외국 시간인데 언젠지 잘모름)

추가 작업 진행

평일은 다들 어려워서 토요일에 집중

송 콘테스트 음악 샘플 생성 → 재료를 만드는 과정

MIDI 생성 파트

Untitled

(자동 썸네일용 이미지)

1주차(4.16 발표)

컨트롤러, spotify 음악 추천 블로그 정리, 미디어아트 구상안

2주차(4.23 발표)

kinect2midi github, max, 음성 합성?

3주차(4.30 발표)

연구, step2 달성

Papers

VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text

→ 일단 Transformer 인코더 based

Untitled

AST

video - audio

Dataset?

youtube 5M dataset 리뷰해보기, 8M은 없는듯?

GitHub - keunwoochoi/YouTube-music-video-5M: A repository to host some youtube music video id's

소준섭

생성 - Audio to Video

주혜신

생성 - Video to MIDI

김영운

생성 - ? to MIDI

전성휴

후보 1) 생성 - MIDI

후보 2) Music Style Transfer?

미디어아트(without AI) -- kinect or leap-motion로 포즈 ⇒ 미디 발생(추출)(velocity는일정) ⇒ 4박씩 진행 ⇒ 저음부터 쌓아나감(비트, pad synth, 피아노, lead synth) 16박(4*4)이 지나면 노래 완성 ⇒ 시간이되면 AI로 고도화(안어색한 음악으로?)

mp3에서 동작하도록 수정

preprocessing에 mp3 추가

test, val 파일 내 음원 파일 이름을 변경해 추가

모두연 서버 추가

생성

원본 레포 내에서 사용 중이기 때문에 위 형식을 이용해서 인퍼런스 진행

추가 학습

모든 데이터로 모델을 학습해볼까?

약간 디테일한 부분은 본 페이지의 코드 내에 주석 참고 요망.

임베딩 → 임베딩 레이어가 아니라 linear layer를 추가해서

PositionalEncoding Class 추가

모든 트랜스포머 인코더에서 마스킹 제거.

트랜스포머 인코더 구현

뒤쪽 트랜스포머 인코더 수정사항.

Transformer 전체 구조

구현 코드

Input data embedding은 Linear로 처리

pos_emb 파트 수정이 필요

모델학습

Dataset ⇒ keypoints, mel 정상적으로 구현

성준님께서 수정해주신 모델로 한번 학습돌려보겠습니다.

ACM transactions on graphics (TOG), 2015 https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

Introduction

2D 이미지를 3D 이미지로 변환할 때 문제점

방법

SMPL이란?

SMPL은 다음과 같은 Blending 기법들을 사용함

Related work

Blend Skinning

Auto-rigging

Blend Shape

Learning Pose Models

Learning Pose and Shape Models

Model

SMPL(Skinned Multi-Person Linear model) : Skinning$^1$ 및 Blend Shape$^2$ 를 기반으로 하여 수천 개의 3D 신체 스캔을 통해 학습된 인체의 사실적인 3D 모델$^3$

Learning a Model : Training Method

Data preprecessing

카메라 제외한 기준으로 음악 전처리 - 3d keypoint 데이터셋 기준으로 처리

⇒ npy 파일로 결과물 공유드리도록 하겠습니다.

전처리 음악이랑 point3D, SMPL 셋으로 묶어보도록 하겠습니다.

전처리 파일

데이터셋 길이 맞춤

Untitled

총 데이터 개수

Untitled

3D keypoints - 중선

쩜쩜쩜..

AIST++ dataset 다운로드

AIST++ Dataset - Download

60 fps 영상 약 12000개, mp4 형식

2D, 3D, 모션 등 트렉킹 데이터 제공

Seq data 정리

9개 c (카메라 데이터 포함)

총 480 시퀀스

17, 3 은 포즈 키포인트

mp4 데이터 정리

시퀀스 데이터에 포함된 각 영상 데이터들 ⇒ 매칭 필요

AIST Dance DB

AIST++ Dance VIDEO DB

Quick overview

냠

DB Design policy

저작권

다양한 장르

다양한 각도

Naming rule

+(추가됨)기술이름표(?).xlsx

모두의연구소의 LAB을 대표하여 EO 촬영을 진행했습니다.

Abstract

VR 등에 적용이 가능한 춤동작 합성 모델을 소개

춤 동작과 비트 사이에 자연스러운 춤 동작 생성

생성된 춤 동작이 자연스럽게 변화 차이가 있어야 한다.

Seq2Seq에 Attention을 적용한 모델 사용

Cross domain에서 Seq2Seq 모델을 사용

평가에선 레퍼런스에 없는 기준으로 테스트셋 구성

춤 데이터셋은 음악과 연관된 춤 동작을 포함하고 있다.

Intro & Related work

Audio to video 분석은 cross domain sequence analysis의 특별한 경우

기본적으로 Audio와 video의 상관 관계는 크지 않다.

Music 과 Dance의 상관 관계는 큰편이다.

Music beat와 춤동작의 beat는 관련이 깊다.

춤동작 생성(Dance movement generation)에는 HMM, LSTM 등을 이용한 접근법

음성 데이터 Basic

음악에서 주로 쓰이는 데이터 형태로는 wave data와 midi data가 있습니다.

간략히 말하면,

wave data는 소리를 디지털 파형으로 저장한 데이터이고, (x축:시간, y축:진폭)

midi data는 각종 악기를 제어하는 전기 신호 데이터입니다. (x축:시간, y축:건반)

소리로 들어볼까연.

Wave Data

신호는 '시간에 따른 일정한 양의 변화량'이고, 오디오 신호의 경우 여기서 변하는 양은 '기압(진폭)'입니다.

소리를 결국 디지털 데이터로 나타내려면, 시간에 따른 기압(진폭)을 채취해야합니다.

'시간에 따라 기압 샘플을 채취한 데이터' = wave data

Generating Music with Expressive Timing and Dynamics

'Timing' and 'Dynamics' ⇒ Note on/off and velocity

모델 아키텍쳐보다는 음악적인 데이터를 학습하는데 중점

Overview

컨타이즈된 노트 vs 사람이 만든 노트

컨타이즈 → 같은 박자, 같은 세기라서 어색하게 느껴진다. (예제는 좀 너무함)

여기서 만드는 건 Sound가 아닌 MIDI 데이터, Audio를 바로 만드는 것이 아님

Dataset

Yamaha e-Piano Competition (~1400 performances by skilled pianists)

Representation

Untitled

hs.jpg

cfile4.uf.13645F584D71C6512C75E3.jpg

저는 Ermine Park이라는 예명으로 활동하는 작곡가 박다해입니다.

저의 상징로고는 흰 족제비이고, 학명은 Ermine이라고 해요.

프랑스 브르타뉴의 상징이기도 한 흰 족제비는 문화와 전통 그리고 예술을 사랑하는

Claude 공작 부인이 채택한 심볼입니다. 루바토랩의 문화와 전통과 함께 더불어

인공지능을 활용한 다양한 융합예술을 만들어나가고 싶습니다. 반갑습니다.

vuk4bg_36e2bde15d92b14cfa316a5a54cbea3eb18730d2.jpg

대학원에서 데이터를 공부하면서 평소에 관심있던 음악을 데이터로 다루어보고 싶다는 생각을 하게 되었습니다.

학부 시절 흑인음악동아리 프로듀싱 팀장을 했었던 시절이 있는데, 완성해본 곡은 딱 한 곡 밖에 없습니다...

현재 Naver boostcamp AI Tech 3기 Computer Vision 트랙에서 공부중이고 6월 중순 이후에는 음악 및 인공지능 연구 관련 기업에 취직하는 것을 목표로 하고 있습니다.

전공

2108D44054E2943126.jpeg

인공지능 뉴비입니다

중/고등학교 과정 검정고시 졸업 이후 학점은행제로 컴퓨터공학사 및 정보처리기사를 취득하였습니다!

현재는 42Seoul에 카뎃으로써 1년 반차에 접어들었습니다.

다양한 팀프로젝트랑 많은 분야를 경험해봤습니다!

블로그와 깃허브에 제 기록들이 올라가 있습니다 (;

Developer with piano

음악에는 그래도.. ㅎ

어렸을때부터 피아노를 계속 쳐 왔고, 클래식/힙합/시티팝/디스코/락 등 안 좋아하는 장르가 없습니다 ㅎ

E75E3CED-9D86-43FF-B937-F22497A1DEAF.jpeg

generated4.png

본전공은 경제와 통계지만 저는 그냥 음악 좀 듣는 말하는 감자입니다

python 조금 끄적일 수 있습니다.

파워 즉흥이라 당일약속을 환영합니다.

헛된 희망을 공유드리자면 제 모델로 생성한 음악 저작권으로 커피 한 잔 살 수 있는 미래를 꿈꿉니다

Untitled