///
Search
Duplicate
💫

Hip-Hop EP co-produced using Machine Learning (Melody RNN/Drums RNN)

원글 링크:
Hip-Hop EP co-produced using Machine Learning
Editorial Note: In this guest post, MJ Jacob discusses how he used Magenta models in the process of creating his new EP. My name is Michael "MJ" Jacob, I work at Google as a Cloud Customer Engineer during the day, and by night, I'm a Hip-Hop rapper/producer/engineer that goes by MJx Music, where I've now been able to accumulate a few million streams across Spotify and Apple Music alone.
https://magenta.tensorflow.org/mj-hip-hop-ep
What Does Artificial Intelligence Hip Hop Sound Like?
HIP HOP BEAT PRODUCED PRIMARILY BY ARTIFICIAL INTELLIGENCE! All thoughts/dialog in this video are my own.This may or may not be the first ever (dope) Hip-Hop...
https://www.youtube.com/watch?v=mOjWyRqiDds
•
Machine Learning에 대한 설명
•
AI로 어떻게 곡을 만들었는지
◦
데이터: 본인과 프로듀서 지인들이 만든 힙합 인스트루멘탈 MIDI 파일들 사용
◦
Google Cloud Platform 사용 + Magenta 설치
◦
훈련된 컴퓨터가 MIDI 생성 + 프로듀서는 악기 소리를 변경하여 더 좋게 들리도록
MJx Music | Hip-Hop EP Co-produced by Artificial Intelligence
https://www.youtube.com/watch?v=S8fUbKW3aPk
•
AI가 곡을 만드는 것에 대한 생각
◦
절대로 AI가 사람을 완전 대체해서는 안된다고 생각
◦
본인 혹은 프로듀서 지인들이 직접 만든 MIDI 데이터를 기반으로 하기 때문에 일종의 협업과 같은 형태가 되기도 (”minds coming together”)
Natural Causes EP
Share your videos with friends, family, and the world
https://www.youtube.com/playlist?list=PLHecbDQwZ14Aj93BV9Oq5dRvImaboom83
•
글 작성자가 AI를 이용하여 만든 힙합 앨범
•
데이터
◦
데이터: 본인과 프로듀서 지인들이 만든 힙합 인스트루멘탈 MIDI 파일들 사용
◦
MIDI 데이터를 NoteSequences로 변환
◦
원하는 특정 사운드/스타일을 만들기 위해서 데이터셋을 cleaning하는 작업에 집중해야했음
•
모델
◦
두 모델을 각자 학습
◦
about 10 - 12 hours each
◦
on average achieved the most desirable metrics/performance around 15,000 epochs
◦
iterated on the models 20+ times
•
이후 작업
◦
모델이 원하는 정도의 퀄리티의 사운드/스타일을 출력할 때까지 학습
◦
백여개 정도의 output을 선정하여 EP에 사용할 snippet으로 사용

사용된 기술

A Comprehensive Survey on Deep Music Generation: Multi-level Representations, Algorithms, Evaluations, and Future Directions https://arxiv.org/abs/2011.06801

Drums RNN (Magenta 구현체)

•
•
lead drum pattern for snares/kicks/hi-hats
reference

Melody RNN (Magenta 구현체)

•
github
◦
Basic RNN: magenta/magenta
◦
Lookback RNN: magenta/magenta
◦
Attention RNN: magenta/magenta
•
catchy lead melody
reference

모델 구조

두 모델은 모두 Magenta의 EventSequenceRNN 모델을 상속받고 있다.
Currently this class only supports generation, of both event sequences and note sequences (via event sequences). Support for model training will be added at a later time.
Made with