마젠타 - Melody RNN

*원문 

magenta.tensorflow.org/2016/07/15/lookback-rnn-attention-rnn/

Generating Long-Term Structure in Songs and Stories

*바로바로 확인하기 좋으라고 공부용으로 적는 포스트! 

 

---

기계학습을 사용하여 멜로디와 같은 시퀀스를 생성할 때 어려운 문제 중 하나는 장기적인 구조를 만드는 것이다. 기계에게는 매우 어려운 일이다. 기본적인 기계 학습 시스템은 키를 유지하는 짧은 멜로디를 만들 수 있지만, 화음 진행을 따르거나 구절과 합창의 멀티바 노래 구조를 따르는 더 긴 멜로디를 생성하는 데 어려움을 겪는다. 장기 구조(long-term structure)가 없다면, 반복 신경망(RNN)에 의해 생성되는 콘텐츠는 결과물이 안정적이지 못하다. 

 

그러나 다음과 같은 Lookback RNN, Attention RNN이라는 마젠타 모델을 이용하여 RNN 모델이 장기 구조를 인식하고 재현할 수 있게 도울 수 있다. 

 

 

Lookback RNN 

흠~ 

 

Lookback RNN은 사용자 정의(custom) 입력 및 레이블을 도입합니다. 사용자 정의 입력을 통해 모델은 1개 및 2개 막대에 걸쳐 발생하는 패턴을 보다 쉽게 인식할 수 있습니다. 또한 측정에서 이벤트가 발생하는 위치와 관련된 패턴을 모델이 인식하는 데 도움이 됩니다.

 

사용자 정의 레이블을 사용하면 모델이 노트 시퀀스를 RNN의 셀 상태로 저장하지 않고도 쉽게 반복할 수 있습니다. 이 모델에 사용되는 RNN 셀 유형은 LSTM입니다.

우리의 소개 모델인 Basic RNN에서, 모델에 대한 입력은 이전 이벤트의 원핫 벡터였고, 라벨은 다음 이벤트의 목표였다. 가능한 이벤트는 노트 끄기(현재 재생 중인 노트 끄기), 이벤트 없음(노트가 재생 중인 경우 계속 유지, 그렇지 않은 경우 음소거) 및 각 피치에 대한 노트 켜기 이벤트(재생 중인 다른 노트도 모두 꺼짐)였습니다. Lookback RNN에서는 다음과 같은 추가 정보를 입력 벡터에 추가합니다.

 

Attention RNN

 

Lookback보다 더 장기 구조를 훈련시키기 위해서는 attention을 사용해볼 수 있다.