주요 기여
01
조합형 음악 생성
논문에서 새로 제안한 과제입니다. 모델이 메타데이터로 짧은 노트 시퀀스를 생성하고 이 시퀀스를 조합하면 한 곡이 됩니다.
02
작곡가가 만든 데이터셋
전문 작곡가가 모든 샘플을 직접 만들었고 데이터가 일관되도록 문서로 정리한 작곡 가이드라인을 따랐습니다.
03
메타데이터 12종
BPM, 키, 악기 외 9종을 담았습니다. 이 중 코드 종류를 늘린 코드 진행과 트랙 역할은 ComMU 고유의 메타데이터입니다.
생성 방식
1단계
노트 시퀀스 생성
모델이 메타데이터 세트마다 노트 시퀀스를 하나씩 생성합니다.
2단계
곡으로 조합
현재는 작곡가가 생성된 노트 시퀀스를 트랙과 시간에 맞춰 배치해 한 곡을 완성합니다. 이 단계의 자동화는 후속 연구로 남겨 두었습니다.
메타데이터
- BPM
- 80
- 키
- A minor
- 박자
- 4/4
- 마디 수
- 4
- 장르
- cinematic
- 리듬
- standard
- 트랙 역할
- main melody
- 음역
- mid
- 악기
- violin
- 최소/최대 벨로시티
- 2, 127
- 코드 진행
- C-Am-F-G
노트 시퀀스
aSLwZ5Ts
조합
| t1 | t2 | t3 | ||
|---|---|---|---|---|
| 메인 멜로디 | 1 | 4 | … | |
| 서브 멜로디 | … | |||
| 반주 | 2 | 2 | 2 | … |
| 베이스 | … | |||
| 리프 | 3 | 3 | … | |
| 패드 | 5 | … |
1단계에서 생성한 노트 시퀀스 번호
데이터셋
전문 작곡가 14명이 두 팀으로 나뉘어 6개월간 작업했습니다. A팀은 레퍼런스 음악을 분석해 작곡 가이드라인을 만들고 B팀은 가이드라인에 따라 샘플을 작곡했습니다.
A팀
- 01장르별, 분위기별 레퍼런스 음악 수집
- 02레퍼런스 음악 분석
- 03메타데이터를 담은 작곡 가이드라인 작성
B팀
- 04가이드라인에 따라 MIDI 샘플 작곡
ComMU 데이터셋
11,144
메타데이터가 붙은 MIDI 샘플
트랙 역할
샘플마다 편곡에서 맡은 역할을 메인 멜로디, 서브 멜로디, 반주, 베이스, 패드, 리프 중 하나로 표시합니다. 악기 정보만으로는 모델이 피아노와 기타로 된 음악까지만 만들 수 있지만 트랙 역할을 함께 주면 피아노가 반주를, 기타가 멜로디를 맡게 할 수 있습니다.
코드 진행
샘플에 쓰인 코드 목록입니다. ComMU는 메이저, 마이너, 디미니쉬, 어그먼트, 도미넌트에 더해 sus4, maj7, 하프 디미니쉬, m7까지 다룹니다. 이렇게 코드 종류를 늘리면 모델이 같은 진행에 어울리는 멜로디를 더 많이 학습해 화성 표현이 좋아지고 다양성이 높아집니다.
장르
배경음악에 자주 쓰이는 두 장르를 담았습니다. 뉴에이지는 키보드와 소규모 어쿠스틱 악기로 연주하는 선율 중심 장르이고 시네마틱은 현악 앙상블이 멜로디와 반주를 맡는 오케스트라 장르입니다.
결과
청취 선호도
익명의 작곡가 40명이 설문에서 같은 메타데이터로 만든 모델 생성 샘플과 사람 작곡 샘플을 비교해 더 선호하는 쪽을 골랐습니다. 모델 생성 샘플을 고른 비율은 약 42%입니다.
사람 작곡
≈58%
모델 생성
≈42%
0255075100%논문 차트에서 읽은 값
제어 가능성과 다양성
제어 가능성은 생성된 노트 중 주어진 음역, 벨로시티 범위, 키 또는 코드를 따르는 노트의 비율입니다. 다양성은 같은 메타데이터로 생성한 노트 시퀀스끼리 잰 거리의 평균입니다.
- 음역 제어
- 0.84
- 벨로시티 제어
- 0.91
- 화성 제어
- 0.99
- 다양성
- 0.32
top-k 32, temperature 0.95로 샘플링