Search
Duplicate
🌊

개인 프로젝트 아이디어 정리

최종 업데이트
4/9/2022, 6:31:00 AM
Tags
2022
일시
Empty
작성자
Empty
포스팅 종류
Empty
✅ main

소준섭

생성 - Audio to Video
Wav → Feature, 영상이랑 연결해서 Attention이 생기는지?
Generate 해보는 것 → Diffusion model 안되면 GAN 쓰기

주혜신

생성 - Video to MIDI
Motivation
영상에 어울리는 배경음악을 생성 → 영상 편집 및 제작하는 크리에이터들에게 더 풍부한 선택지 & 즐거운 경험을 제공
Approach
Transformer-based
영상의 tone & mood(emotion)을 반영한 음악을 생성

김영운

생성 - ? to MIDI
후보 1) 문장
*Multi modal에 대한 로망은 있지만 역량이 될지??
후보 2) 음성 데이터

전성휴

후보 2) Music Style Transfer?
노래를 입력했을 때 장르 변경...?

윤중선

미디어아트(without AI) -- kinect or leap-motion로 포즈 ⇒ 미디 발생(추출)(velocity는일정) ⇒ 4박씩 진행 ⇒ 저음부터 쌓아나감(비트, pad synth, 피아노, lead synth) 16박(4*4)이 지나면 노래 완성 ⇒ 시간이되면 AI로 고도화(안어색한 음악으로?)
생성(with AI) -- AI song contest팀 같이 참여
⇒ 미디어아트 개인프로젝트 진행하며 생성팀에서 같이 활동예정, 참여형 미디어아트 일단 rule base로 완성되고나면 AI접목방향 생각예정

정민주

생성 MIDI & 추천
음악 특정구간의 신호를 정형화?
생성
추천 모두 가능?
model 추천
기존 음악 + 추출한 신호를 넣으면 > 개인 선호 음악 ( 원하는 음악 생성 및 추천)
기본정보가 없어서 어떻게 서칭해야할지 막막한 상태입니다
wav > feature 설정 후 전처리
song contest 참여 희망

김관호

아직 해본게 많이 없어서 구체적이지 않습니다
Genre Changer?
Classic to Hiphop, Classic to Jazz, Concerto to Opera 등등
input : 음악(wav || midi 중 생각중입니다), label(현재 장르, 바뀔 장르)
넣은 음악의 멜로디 잡고 바뀔 장르에 어울리는 악기 골라서 생성...?
Input & Output이 MIDI여도..? 어려우려나..?

유창준

장르별 미디 음악 생성(Adversarial AutoEncoder Based Multi Track MIDI - label conditional)
input : label - 장르, 분위기 등...(TimesFormer로 동영상 분위기도 추출 예정)
output : MIDI file & WAV file
model : 적대적 오토인코더 생성파트에 조건레이블 입력 추가 https://github.com/Andrea-V/MusAE
음악에서 코드 진행 추천(AutoEncoder, Transformer Model)

신유경

1) 영상 데이터 입력 시, 음악 추천
멀티 모달을 꿈꾸는중 —> 인스타그램 스토리
음악 데이터와 영상 데이터 같이 태깅 필요
input : 영상 (ex. rain image)
model : 추후 선정
output : Top K개의 음악 추천 (잔잔한 음악 추천)
(팀) 2) Generator (Midi) 재즈 관련
1) 확장판으로 영상에 어울리는 음악 생성

이다솔

Piano Music Transcription
실시간 or Inference 시간 아주 짧은 피아노 음악 채보 모델 만들기
Audio(wav) to MIDI

김상원

Mel-spectrogram을 사용하여 기존 1등보다 나은 추천시스템 만들기
OR 고전 소설  고전 소설(장면??)을 잘 나타낼 수 있는 음악 작곡(Generative model)
고전 소설 ex> 장발장 → 레미제라블 여러 음악, 알라딘 → 음악
한 소설에 대한 장면별 한곡일 수도 있고,
여러 소설에 대해 소설당 한곡일 수도 있음.

박다해

장르를 통한 Midi & Wave file 자동생성 → Song form 작곡하기
(인공지능의 자동생성의 원리나 DDSP에 대해서 연구를 하고 싶어요.)
작곡한 음악과 Visual Interaction이 이루어질 수 있는 작품으로 연결
AI Song Contest 참여