Search
Duplicate
🎹

Rubato LAB 활동 (클릭)

Gallery view
Table
Search

송콘테스트 기획회의

•
음악이랑 영상 같이 만들어서 올리기
•
무슨 음악을 만들까?
•
소음이나 현장음을 통해서 음악만들기 → 어떤 장르의 노래?

참가자 작업 - 송콘테스트 제출일 2022. 06. 01 마감 (외국 시간인데 언젠지 잘모름)

•
추가 작업 진행
•
평일은 다들 어려워서 토요일에 집중

송 콘테스트 음악 샘플 생성 → 재료를 만드는 과정

•
MIDI 생성 파트
2022 Song Contest
2022
2022/06/01

박다해

4/23(토)
•
장르를 통한 Midi & Wave file 자동생성 → Song form 작곡하기
(인공지능의 자동생성의 원리나 DDSP에 대해서 연구를 하고 싶어요.)
•
작곡한 음악과 Visual Interaction이 이루어질 수 있는 작품으로 연결
•
AI Song Contest 참여
——————————————————————————————————
5/14(토)
Tone Transfer- DDSP
Nsynth - Vocoder
——————————————————————————————————
[음악과 감정의 상관 관계 논문 서치]
Exploring Relationships between Audio Features and Emotion in Music.pdf
364.0KB
음악 구성요소의 감정 구조 분석에 기반 한 시각화 연구.pdf
2278.3KB
박다해 - 개인 프로젝트
2022
2022/04/23

영상 입력 시 음악 추천

1.
Intro & Backgroud
2.
Related Work
3.
Dataset
4.
Model

1주차

•
영상 데이터 입력 시, 음악 추천

2주차

•
Paper

6월 계획

•
태그셋 데이터 찾기 + 이미지 찾기
•
비슷한 논문 있는지 찾기
🌕 신유경 개인 프로젝트
2022
2022/04/16
신유경
논문정리

이미지 기반 음향 효과 시스템

•
이미지의 정보를 추출하여 해당 정보의 대상들이 발생하는 소리를 종합하여 추출한다.
•
해당 시스템으로 이미지만으로 시청각적 경험을 느끼는 것을 목표로 한다.
곡 소개, 리뷰를 활용하여 Dataset 구성
모델: 미정
관련 연구 조사: 아직

3주차 (22.04.16)

할 일 목록

관련 논문 찾기 (Paper with code의 Music Generation, NLP? 쪽을 보려고 합니다. )
신시 공부 및 constant-Q 공부

주차 활동 정리

김영운 개인 프로젝트
(자동 썸네일용 이미지)

1주차(4.16 발표)

컨트롤러, spotify 음악 추천 블로그 정리, 미디어아트 구상안

2주차(4.23 발표)

kinect2midi github, max, 음성 합성?

3주차(4.30 발표)

연구, step2 달성

새로운 아이디어 내기

•
2주간 디벨롭
윤중선 개인 프로젝트
2022

Papers

•
VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text
→ 일단 Transformer 인코더 based
•
AST
•
video - audio

Dataset?

•
youtube 5M dataset 리뷰해보기, 8M은 없는듯?
소준섭 개인 프로젝트
2022

소준섭

•
생성 - Audio to Video

주혜신

•
생성 - Video to MIDI

김영운

•
생성 - ? to MIDI

전성휴

•
후보 1) 생성 - MIDI
•
후보 2) Music Style Transfer?

윤중선

•
미디어아트(without AI) -- kinect or leap-motion로 포즈 ⇒ 미디 발생(추출)(velocity는일정) ⇒ 4박씩 진행 ⇒ 저음부터 쌓아나감(비트, pad synth, 피아노, lead synth) 16박(4*4)이 지나면 노래 완성 ⇒ 시간이되면 AI로 고도화(안어색한 음악으로?)
개인 프로젝트 아이디어 정리
2022
주혜신 개인 프로젝트
2022
이다솔 개인 프로젝트
2022
1주차 : ㅠㅠ
2주차 : 도레미가 무엇인지 배우는 중입니다
김상원 개인프로젝트
2022

김관호 개인프로젝트 진행내용

계획

•
Song Contest 참가
•

1주차

•
4/10 ~ 4/16
•
not yet

2주차

•
4/17 ~ 4/23
•
기초 공부
김관호: 개인 프로젝트
2022
1.
Intro
2.
GAN vs AAE vs Transformer?
•
input : label - 장르, 분위기 추가...... (YouTube 5M dataset → TimesFormer로 동영상 라벨 분류)
•
output : MIDI file & WAV file
유창준 개인 프로젝트
2022
유창준
논문정리

기획

•
콘텐츠 진흥원 및 모두연에서 전시를 진행하기 위한 기획입니다.
•
사람들이 직접 녹음을 한 목소리에서 Text를 추출하여, 해당 Text 기반 이미지와 사운드를 생성하는 전시 기획
•
Sound의 경우 기존 Sample의 tag들을 이용할 예정이며, 사운드 스케이프에 가까운 사운드가 될 예정

파트

1.
Disco Diffusion Model 포팅 → Text 입력 후 이미지 생성하도록 코드 수정
2.
음성인식 한국어 음성을 받아서 명사화 시킨 후 영어로 번역해 Text 데이터 사용
3.
Text 기반 감정분석 후 Loop Sample 중 비슷한 감성의 샘플 선택해 재생 (ableton의 m4l로 재생)
•
PM - 소준섭

Github 생성

•
Repo
미디어아트 전시 기획
2022
소준섭
전성휴 개인 프로젝트
약간 디테일한 부분은 본 페이지의 코드 내에 주석 참고 요망.
•
임베딩 → 임베딩 레이어가 아니라 linear layer를 추가해서
•
PositionalEncoding Class 추가
•
모든 트랜스포머 인코더에서 마스킹 제거.
•
트랜스포머 인코더 구현
•
뒤쪽 트랜스포머 인코더 수정사항.
•
Transformer 전체 구조
모델 수정사항
modeling
2021/09/28
장성준
코딩

AIST++ dataset 다운로드

•
60 fps 영상 약 12000개, mp4 형식
•
2D, 3D, 모션 등 트렉킹 데이터 제공

Seq data 정리

•
9개 c (카메라 데이터 포함)
•
총 480 시퀀스
•
17, 3 은 포즈 키포인트

mp4 데이터 정리

•
시퀀스 데이터에 포함된 각 영상 데이터들 ⇒ 매칭 필요
AIST dataset Code로 살펴보기
dataset
2021/08/17
Junseop So
데이터셋 분석
AI Choreographer
ACM transactions on graphics (TOG), 2015 https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

Introduction

2D 이미지를 3D 이미지로 변환할 때 문제점
방법
SMPL이란?
SMPL은 다음과 같은 Blending 기법들을 사용함

Related work

1.
Blend Skinning
2.
Auto-rigging
3.
Blend Shape
4.
Learning Pose Models
5.
Learning Pose and Shape Models

Model

SMPL(Skinned Multi-Person Linear model) : Skinning1^1 및 Blend Shape2^2 를 기반으로 하여 수천 개의 3D 신체 스캔을 통해 학습된 인체의 사실적인 3D 모델3^3
Learning a Model : Training Method
SMPL(Skinned Multi-Person Linear model) Overview
Paper
2021/08/24
신유경
논문정리

Abstract

•
VR 등에 적용이 가능한 춤동작 합성 모델을 소개
•
춤 동작과 비트 사이에 자연스러운 춤 동작 생성
•
생성된 춤 동작이 자연스럽게 변화 차이가 있어야 한다.
•
Seq2Seq에 Attention을 적용한 모델 사용
•
Cross domain에서 Seq2Seq 모델을 사용
•
평가에선 레퍼런스에 없는 기준으로 테스트셋 구성
•
춤 데이터셋은 음악과 연관된 춤 동작을 포함하고 있다.

Intro & Related work

•
Audio to video 분석은 cross domain sequence analysis의 특별한 경우
•
기본적으로 Audio와 video의 상관 관계는 크지 않다.
•
Music 과 Dance의 상관 관계는 큰편이다.
•
Music beat와 춤동작의 beat는 관련이 깊다.
•
춤동작 생성(Dance movement generation)에는 HMM, LSTM 등을 이용한 접근법
Yu Qi et al. (2019) Music Driven Dance Generation
Paper
2021/08/03
Junseop So
논문정리
SMPL ⇒ Fbx converter
2021
modeling
2021/12/17
윤중선

AIST Dance DB

AIST++ Dance VIDEO DB

Quick overview

냠

DB Design policy

1.
저작권
2.
다양한 장르
3.
다양한 각도

Naming rule

+(추가됨)기술이름표(?).xlsx
AIST Dance DB
2021
dataset
2021/08/15
윤중선
2021 AI Song Contest 참가
모두의연구소의 LAB을 대표하여 EO 촬영을 진행했습니다.
EO 촬영
Youtube
EO
2021/05/18
이벤트

MIDI란?

MIDI Data
midi data
2021/08/03
윤현근

음성 데이터 Basic

음악에서 주로 쓰이는 데이터 형태로는 wave data와 midi data가 있습니다.
간략히 말하면,
•
wave data는 소리를 디지털 파형으로 저장한 데이터이고, (x축:시간, y축:진폭)
•
midi data는 각종 악기를 제어하는 전기 신호 데이터입니다. (x축:시간, y축:건반)
•
소리로 들어볼까연.

Wave Data

신호는 '시간에 따른 일정한 양의 변화량'이고, 오디오 신호의 경우 여기서 변하는 양은 '기압(진폭)'입니다.
소리를 결국 디지털 데이터로 나타내려면, 시간에 따른 기압(진폭)을 채취해야합니다.
'시간에 따라 기압 샘플을 채취한 데이터' = wave data
Wave data 와 Librosa
wave data
midi data
Librosa
spectrogram
2021/07/20
엄광호
AIST ++ 데이터셋 전처리하기
2021/08/17

Generating Music with Expressive Timing and Dynamics

•
'Timing' and 'Dynamics' ⇒ Note on/off and velocity
•
모델 아키텍쳐보다는 음악적인 데이터를 학습하는데 중점

Overview

•
컨타이즈된 노트 vs 사람이 만든 노트
•
컨타이즈 → 같은 박자, 같은 세기라서 어색하게 느껴진다. (예제는 좀 너무함)
•
여기서 만드는 건 Sound가 아닌 MIDI 데이터, Audio를 바로 만드는 것이 아님

Dataset

•
Yamaha e-Piano Competition (~1400 performances by skilled pianists)

Representation

PerformanceRNN
2021/08/03

mp3에서 동작하도록 수정

•
preprocessing에 mp3 추가
•
test, val 파일 내 음원 파일 이름을 변경해 추가

모두연 서버 추가

생성

•
원본 레포 내에서 사용 중이기 때문에 위 형식을 이용해서 인퍼런스 진행

추가 학습

•
모든 데이터로 모델을 학습해볼까?
Model 결과 생성

구현 코드

•
Input data embedding은 Linear로 처리
•
pos_emb 파트 수정이 필요

모델학습

•
Dataset ⇒ keypoints, mel 정상적으로 구현
•
성준님께서 수정해주신 모델로 한번 학습돌려보겠습니다.
FACT model
소준섭