🎹

Rubato LAB 활동 (클릭)

Gallery view

Table

Untitled

소음이나 현장음을 통해서 음악만들기 → 어떤 장르의 노래?

참가자 작업 - 송콘테스트 제출일 2022. 06. 01 마감 (외국 시간인데 언젠지 잘모름)

추가 작업 진행

평일은 다들 어려워서 토요일에 집중

송 콘테스트 음악 샘플 생성 → 재료를 만드는 과정

장르를 통한 Midi & Wave file 자동생성 → Song form 작곡하기

(인공지능의 자동생성의 원리나 DDSP에 대해서 연구를 하고 싶어요.)

작곡한 음악과 Visual Interaction이 이루어질 수 있는 작품으로 연결

AI Song Contest 참여

——————————————————————————————————

이미지의 정보를 추출하여 해당 정보의 대상들이 발생하는 소리를 종합하여 추출한다.

해당 시스템으로 이미지만으로 시청각적 경험을 느끼는 것을 목표로 한다.

곡 소개, 리뷰를 활용하여 Dataset 구성

ONSETS AND FRAMES: DUAL-OBJECTIVE PIANO TRANSCRIPTION

onsets and frames 정리.jpeg

이다솔 개인 프로젝트

2022

1주차 : ㅠㅠ

2주차 : 도레미가 무엇인지 배우는 중입니다

GAN vs AAE vs Transformer?

input : label - 장르, 분위기 추가...... (YouTube 5M dataset → TimesFormer로 동영상 라벨 분류)

output : MIDI file & WAV file

model : 적대적 오토인코더 생성 ( 인코더 ) 파트에 조건레이블 입력 추가(WGAN - GP + label) https://github.com/Andrea-V/MusAE/blob/master/train_gm.py

음악에서 코드 진행 추천 (오픈소스 없는것 같음, AutoEncoder, Transformer Model)

3~6주차 - 데이터 준비&모델링(04-24 ~ 05-30)

데이터셋준비

기존모델 + 조건부 라벨 입력 &BERT + RL

BERT + RL 구현

GAN vs AAE vs Transformer → Transformer, musicVAE 모델이 퀄이 좋음

Multi-Track

https://magenta.tensorflow.org/2016/11/09/tuning-recurrent-networks-with-reinforcement-learning/ 생성 알고리즘 모음. https://arxiv.org/pdf/2011.06801.pdf https://magenta.tensorflow.org/gansynth 실험할 알고리즘 https://github.com/microsoft/muzic

유창준 개인 프로젝트

2022

유창준

논문정리

Untitled

기획

콘텐츠 진흥원 및 모두연에서 전시를 진행하기 위한 기획입니다.

사람들이 직접 녹음을 한 목소리에서 Text를 추출하여, 해당 Text 기반 이미지와 사운드를 생성하는 전시 기획

Sound의 경우 기존 Sample의 tag들을 이용할 예정이며, 사운드스케이프에 가까운 사운드가 될 예정

파트

Disco Diffusion Model 포팅 → Text 입력 후 이미지 생성하도록 코드 수정

음성인식 한국어 음성을 받아서 명사화 시킨 후 영어로 번역해 Text 데이터 사용

Text 기반 감정분석 후 Loop Sample 중 비슷한 감성의 샘플 선택해 재생 (ableton의 m4l로 재생)

노래방 음악 제작

음악으로부터 세션 + 노래 목소리 분리

분리된 목소리로부터 Automatic Music Transcription(?) 후 VSTi로 해당 음 연주

Music Source Separation

준섭님 블로그:

Improving singing voice separation using Deep U-Net and Wave-U-Net with data augmentation

Wave-U-Net

Automatic Singing Transcription

Automatic Singing Transcription Based on Encoder-decoder Recurrent Neural Networks with a Weakly-supervised Attention Mechanism

전성휴 개인 프로젝트

2022

약간 디테일한 부분은 본 페이지의 코드 내에 주석 참고 요망.

임베딩 → 임베딩 레이어가 아니라 linear layer를 추가해서

PositionalEncoding Class 추가

모든 트랜스포머 인코더에서 마스킹 제거.

AIST++ Dataset - Download

60 fps 영상 약 12000개, mp4 형식

2D, 3D, 모션 등 트렉킹 데이터 제공

시퀀스 데이터에 포함된 각 영상 데이터들 ⇒ 매칭 필요

AIST dataset Code로 살펴보기

AI Choreographer: Music Conditioned 3D Dance Generation with AIST++

Paper : https://arxiv.org/pdf/2101.08779.pdf

Untitled

AIST ++ 데이터셋과 더불어, 이를 활용한 FACT 모델 소개.

FACT 모델 : 음악에 맞추어 움직이는 3D 댄스 모션 생성.

FACT 모델이란?

기존과 다른점

왜 좋냐?

판단 기준은?

AI Choreographer

Paper

2021/08/31

장성준

논문정리

ACM transactions on graphics (TOG), 2015 https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

Introduction

2D 이미지를 3D 이미지로 변환할 때 문제점

방법

SMPL이란?

SMPL은 다음과 같은 Blending 기법들을 사용함

Learning Pose and Shape Models

Model

SMPL(Skinned Multi-Person Linear model) : Skinning

^1

및 Blend Shape

^2

를 기반으로 하여 수천 개의 3D 신체 스캔을 통해 학습된 인체의 사실적인 3D 모델

^3

Learning a Model : Training Method

SMPL(Skinned Multi-Person Linear model) Overview

VR 등에 적용이 가능한 춤동작 합성 모델을 소개

춤 동작과 비트 사이에 자연스러운 춤 동작 생성

생성된 춤 동작이 자연스럽게 변화 차이가 있어야 한다.

Seq2Seq에 Attention을 적용한 모델 사용

Cross domain에서 Seq2Seq 모델을 사용

평가에선 레퍼런스에 없는 기준으로 테스트셋 구성

춤 데이터셋은 음악과 연관된 춤 동작을 포함하고 있다.

Intro & Related work

Audio to video 분석은 cross domain sequence analysis의 특별한 경우

기본적으로 Audio와 video의 상관 관계는 크지 않다.

Music 과 Dance의 상관 관계는 큰편이다.

Music beat와 춤동작의 beat는 관련이 깊다.

춤동작 생성(Dance movement generation)에는 HMM, LSTM 등을 이용한 접근법

Yu Qi et al. (2019) Music Driven Dance Generation

from: https://github.com/softcat477/SMPL-to-FBX

SMPL ⇒ .fbx converter

명령어

Untitled

성가셔도 해줘야 하는 것들

SmplObject.py 46번째 줄에

Untitled

원하는파일들만 추출할 수 있게 filtering 해주는것 같은데, 왜 이렇게 만든건지는 모르겠지만...

추출할 .pkl파일들의 장르, 타입, musicID 직접 넣어주어야합니다.

SMPL ⇒ Fbx converter

2021

modeling

2021/12/17

윤중선

AIST Dance DB

AIST++ Dance VIDEO DB

Rubato LAB은 2021 AI Song Contest에 참가했습니다.

https://www.aisongcontest.com/participants/rubatolab-2021

2021 AI Song Contest 참가

AISongContest

2021

2021/05/19

이벤트

모두의연구소의 LAB을 대표하여 EO 촬영을 진행했습니다.

악기 디지털 인터페이스(Musical Instrument Digital Interface)는 전자 악기끼리 디지털 신호를 주고 받기 위해 각 신호를 규칙화한 일종의 규약이다. 다시 말해 악기와 컴퓨터, 악기와 악기끼리 주고받을 수 있는 언어와 통로의 신호 체계 표준이라 할 수 있다.(출처: 위키피디아)

MIDI 파일의 구조

MIDI는 크게 1개의 헤더 청크와 n 개의 트랙 청크로 이루어져 있다.

트랙 청크는 연주 되어야하는 음표가 담겨있는 오선지와 같은 역할을 한다. 하나의 곡에서도 악보를 보면 악기, 음자리표 등에 따라 많은 오선지가 필요하다. 따라서 트랙 청크는 n개로 이루어져 있다.

그리고 이러한 트랙 청크의 개수라든지 곡에 대한 설명과 같은 정보가 있는 헤더 청크가 하나 필요하다.

MIDI파일은 가장 앞에 헤더 청크가 있고 그 뒤에 트랙 청크가 배치되는 구조를 가지고 있다.

출처 : https://pubul.tistory.com/108

MIDI Data

midi data

2021/08/03

윤현근

음성 데이터 Basic

음악에서 주로 쓰이는 데이터 형태로는 wave data와 midi data가 있습니다.

간략히 말하면,

wave data는 소리를 디지털 파형으로 저장한 데이터이고, (x축:시간, y축:진폭)

midi data는 각종 악기를 제어하는 전기 신호 데이터입니다. (x축:시간, y축:건반)

소리로 들어볼까연.

Wave Data

신호는 '시간에 따른 일정한 양의 변화량'이고, 오디오 신호의 경우 여기서 변하는 양은 '기압(진폭)'입니다.

소리를 결국 디지털 데이터로 나타내려면, 시간에 따른 기압(진폭)을 채취해야합니다.

'시간에 따라 기압 샘플을 채취한 데이터' = wave data

카메라 제외한 기준으로 음악 전처리 - 3d keypoint 데이터셋 기준으로 처리

⇒ npy 파일로 결과물 공유드리도록 하겠습니다.

전처리 음악이랑 point3D, SMPL 셋으로 묶어보도록 하겠습니다.

Generating Music with Expressive Timing and Dynamics

'Timing' and 'Dynamics' ⇒ Note on/off and velocity

모델 아키텍쳐보다는 음악적인 데이터를 학습하는데 중점

Overview

컨타이즈된 노트 vs 사람이 만든 노트

컨타이즈 → 같은 박자, 같은 세기라서 어색하게 느껴진다. (예제는 좀 너무함)

여기서 만드는 건 Sound가 아닌 MIDI 데이터, Audio를 바로 만드는 것이 아님

Dataset

Yamaha e-Piano Competition (~1400 performances by skilled pianists)

preprocessing에 mp3 추가

test, val 파일 내 음원 파일 이름을 변경해 추가

모두연 서버 추가

생성

원본 레포 내에서 사용 중이기 때문에 위 형식을 이용해서 인퍼런스 진행

Input data embedding은 Linear로 처리

pos_emb 파트 수정이 필요

모델학습

Dataset ⇒ keypoints, mel 정상적으로 구현

성준님께서 수정해주신 모델로 한번 학습돌려보겠습니다.

FACT model

소준섭