Search
Duplicate

유창준 개인 프로젝트

최종 업데이트
2022/04/16 06:37
Tags
2022
일시
작성자
유창준
포스팅 종류
논문정리
✅ main
1.
Intro
a.
https://github.com/ZZWaang/musebert( 현재 데이터셋 처리... )
i.
정리중ㅠㅠ;
b.
MUSEBERT ← TimesFormer Video Feature label 추가 + RL ( 유저 피드백 반영 후처리 RL ) + c - GAN으로 커버 이미지 생성 (https://towardsdatascience.com/album-covers-by-gans-c5c8ef48f50c)
c.
RL : 유저 별점(5점 만점에 몇점) 을 피드백으로 주면 박자, 음정 바꿔서 다시 작곡 - Actor-Critic Model (최대한 간단한 모델 선택...)
2.
GAN vs AAE vs Transformer?
a.
DataSet : LPD-5, LPD-17( 현재 데이터셋 다시 다운로드 중...) (LMD는 다운속도 너무 느림..) + YouTube 5M dataset
b.
생성 모델 퀄리티 비교분석 중...(데이터셋 전처리 시간걸림..ㅠㅠ)
c.
장르별 미디 음악 생성(Adversarial AutoEncoder Based Multi Track MIDI - label conditional)
input : label - 장르, 분위기 추가...... (YouTube 5M dataset → TimesFormer로 동영상 라벨 분류)
output : MIDI file & WAV file
model : 적대적 오토인코더 생성 ( 인코더 ) 파트에 조건레이블 입력 추가(WGAN - GP + label) https://github.com/Andrea-V/MusAE/blob/master/train_gm.py
음악에서 코드 진행 추천 (오픈소스 없는것 같음, AutoEncoder, Transformer Model)

3~6주차 - 데이터 준비&모델링(04-24 ~ 05-30)

데이터셋준비
기존모델 + 조건부 라벨 입력 &BERT + RL
BERT + RL 구현
GAN vs AAE vs Transformer → Transformer, musicVAE 모델이 퀄이 좋음
Multi-Track