
Rubato LAB 소개
Rubato Lab은 인공지능과 다양한 기술들을 이용해 음악과 관련된 재미있는 연구를 하는 랩입니다. 최근 연구원들 모두 힘을 합쳐 인공지능 모델을 기반으로 음원을 만들어 2021 AI Song Contest에 참여했었고, 2022년에도 참여 예정입니다.
이번 시즌 연구 목표
Rubato Lab은 공개된 데이터셋들을 기반으로 개인이 만들고 싶은 결과물을 정하고 그 작품을 완성하기까지 같이 스터디를 진행합니다. 기본적인 지식부터 전문적인 지식까지 공유하며 개인이 생각한 결과물의 완성까지 같이 작업을 진행합니다.
Rules!
•
발표자 선정은 지원으로 뽑으며, 최대 2~3명을 넘지 않도록 합니다.
•
만약 채워지지 않는다면, 사다리타기를 이용해 선정하도록 합니다.
•
기존의 발표하신 분들은 사다리타기 때 제외하고 진행하겠습니다.
•
모두가 한번씩 발표를 끝내면 사다리타기 대상자는 다시 초기화하겠습니다.
•
발표해주신 자료는 꼭 루바토랩 노션 페이지에 올려주시면 감사하겠습니다.
•
예정된 발표를 못했을 경우, 다음 주에 발표해주셔야 합니다.
•
적어도 2일 전에 발표 불가능을 알려주셔야 합니다.
만약 당일 혹은 전날까지 말씀없이 발표 불가인 경우엔 다음 2주간 발표가 고정됩니다. (누적!)
Default view
Gallery
Search
주차
주차별 내용
날짜
발표자
자료
TODO
COUNT12
LAB 발표 자료실
Gallery
Table
Search
이미지 기반 음향 효과 시스템
•
이미지의 정보를 추출하여 해당 정보의 대상들이 발생하는 소리를 종합하여 추출한다.
•
해당 시스템으로 이미지만으로 시청각적 경험을 느끼는 것을 목표로 한다.
곡 소개, 리뷰를 활용하여 Dataset 구성
모델: 미정
관련 연구 조사: 아직
3주차 (22.04.16)
할 일 목록
관련 논문 찾기 (Paper with code의 Music Generation, NLP? 쪽을 보려고 합니다. )
신시 공부 및 constant-Q 공부
BBC-SoundEffect 링크, 추가로 KBS에서 비슷한 종류의 자료 확인
주차 활동 정리
김영운 개인 프로젝트
2022
2022/04/16
김영운
1.
Intro
2.
GAN vs AAE vs Transformer?
•
input : label - 장르, 분위기 추가...... (YouTube 5M dataset → TimesFormer로 동영상 라벨 분류)
•
output : MIDI file & WAV file
•
model : 적대적 오토인코더 생성 ( 인코더 ) 파트에 조건레이블 입력 추가(WGAN - GP + label)
https://github.com/Andrea-V/MusAE/blob/master/train_gm.py
•
음악에서 코드 진행 추천 (오픈소스 없는것 같음, AutoEncoder, Transformer Model)
3~6주차 - 데이터 준비&모델링(04-24 ~ 05-30)
데이터셋준비
기존모델 + 조건부 라벨 입력 &BERT + RL
BERT + RL 구현
GAN vs AAE vs Transformer → Transformer, musicVAE 모델이 퀄이 좋음
Multi-Track
유창준 개인 프로젝트
2022
유창준

SMPL ⇒ .fbx converter
•
명령어

성가셔도 해줘야 하는 것들
1
•
SmplObject.py 46번째 줄에

원하는파일들만 추출할 수 있게 filtering 해주는것 같은데, 왜 이렇게 만든건지는 모르겠지만...
추출할 .pkl파일들의 장르, 타입, musicID 직접 넣어주어야합니다.
SMPL ⇒ Fbx converter
2021
modeling
2021/12/17
윤중선
MIDI란?
악기 디지털 인터페이스(Musical Instrument Digital Interface)는 전자 악기끼리 디지털 신호를 주고 받기 위해 각 신호를 규칙화한 일종의 규약이다. 다시 말해 악기와 컴퓨터, 악기와 악기끼리 주고받을 수 있는 언어와 통로의 신호 체계 표준이라 할 수 있다.(출처: 위키피디아)
MIDI 파일의 구조
MIDI는 크게 1개의 헤더 청크와 n 개의 트랙 청크로 이루어져 있다.
트랙 청크는 연주 되어야하는 음표가 담겨있는 오선지와 같은 역할을 한다. 하나의 곡에서도 악보를 보면 악기, 음자리표 등에 따라 많은 오선지가 필요하다. 따라서 트랙 청크는 n개로 이루어져 있다.
그리고 이러한 트랙 청크의 개수라든지 곡에 대한 설명과 같은 정보가 있는 헤더 청크가 하나 필요하다.
MIDI파일은 가장 앞에 헤더 청크가 있고 그 뒤에 트랙 청크가 배치되는 구조를 가지고 있다.


MIDI Data
midi data
2021/08/03
윤현근