1.
Intro
a.
b.
MUSEBERT ← TimesFormer Video Feature label 추가 + RL ( 유저 피드백 반영 후처리 RL )
+ c - GAN으로 커버 이미지 생성 (https://towardsdatascience.com/album-covers-by-gans-c5c8ef48f50c)
c.
RL : 유저 별점(5점 만점에 몇점) 을 피드백으로 주면 박자, 음정 바꿔서 다시 작곡
- Actor-Critic Model (최대한 간단한 모델 선택...)
2.
GAN vs AAE vs Transformer?
a.
DataSet : LPD-5, LPD-17( 현재 데이터셋 다시 다운로드 중...) (LMD는 다운속도 너무 느림..) + YouTube 5M dataset
b.
생성 모델 퀄리티 비교분석 중...(데이터셋 전처리 시간걸림..ㅠㅠ)
c.
장르별 미디 음악 생성(Adversarial AutoEncoder Based Multi Track MIDI - label conditional)
•
input : label - 장르, 분위기 추가...... (YouTube 5M dataset → TimesFormer로 동영상 라벨 분류)
•
output : MIDI file & WAV file
•
model : 적대적 오토인코더 생성 ( 인코더 ) 파트에 조건레이블 입력 추가(WGAN - GP + label)
https://github.com/Andrea-V/MusAE/blob/master/train_gm.py
•
음악에서 코드 진행 추천 (오픈소스 없는것 같음, AutoEncoder, Transformer Model)
3~6주차 - 데이터 준비&모델링(04-24 ~ 05-30)
데이터셋준비
기존모델 + 조건부 라벨 입력 &BERT + RL
BERT + RL 구현
GAN vs AAE vs Transformer → Transformer, musicVAE 모델이 퀄이 좋음
Multi-Track
