AI에게 노래 시키자, NEUTRINO

---

[기본 제공 라이브러리인 '도호쿠 키리탄' 모델로 커버한 40mp의 '절취선']

 

인공 신경망을 통해 별도의 조교 없이도 사람과 같이 자연스럽게 노래를 불러주는 소프트웨어인 NEUTRINO는 올해 2월 말에 릴리즈 되어 현재 각국의 보컬로이드 포럼에서 많은 관심을 받고 있는데요, 오늘은 NEUTRINO와 기본 제공 라이브러리인 東北きりたん(토호쿠 키리탄), 謡子(요코)를 사용하는 방법과 그 결과를 간단히 정리해보도록 하겠습니다.

 

---

NEUTRINO란?

NEUTRINO는 뉴럴 네트워크를 이용한 가성(歌声) 신디사이저입니다. 소프트웨어는 프리웨어입니다. 악보를 통해 발성 타이밍 · 소리의 높이 · 음질 · 목소리의 갈라짐 등을 신경망으로 추정합니다. 그 후 상기 추정된 파라미터를 바탕으로 보코더로 음성을 합성합니다. 본 소프트웨어의 명칭은 아직 들어 본 적이 없는 악곡 · 장르를 개척해 주었으면 하는 마음을 담아서 붙였습니다. 당신의 창작 · 발견에 도움이 되기를 바랍니다.

NEUTRINO 공식 홈페이지의 소개

---

시작을 위한 준비물

그럼 이제, 본격적으로 NEUTRINO를 사용해서 AI에게 노래를 시켜보기 전에, 필요한 준비물이 있습니다.

 

• NEUTRINO 소프트웨어
• 키리탄 또는 요코 음성 모델
• 악보 편집 프로그램
• 불러보고 싶은 악보

소프트웨어와 음성 모델의 합본은 여기에서 NEUTRINO-ALL_vX.XXX.zip을 클릭해서 받을 수 있습니다. 악보 편집을 위한 소프트웨어는, MusicXML 포맷으로 내보낼 수 있는 어떤 프로그램도 좋습니다만, 본 강좌에서는 무료 소프트웨어인 MuseScore를 사용하도록 하겠습니다. 악보는 MusicXML 형태의 악보가 필요하며, 악보가 PDF나 이미지인 경우 스캔 및 인식등을 통해 MusicXML 포맷으로 변환이 필요합니다. 상용 소프트웨어인 Finale, SmartScore 등으로 가능합니다.

 

악보의 준비

MusicXML 포맷의 악보를 MuseScore를 통해 열면 기본적으로 위와 같은 모습입니다. 이제 각 음표에 히라가나로 가사를 작성해주면 됩니다. 음표를 클릭하고 Ctrl + L 단축키를 통해 음표에 해당하는 가사를 입력할 수 있습니다.

 

음표에 가사를 입력하는 모습

 

가사에는 영문 또는 한글, 한자는 지원하지 않습니다. 히라가나로 소리나는대로 풀어서 작성해주세요.

 

모든 음표에 가사 작성을 완료한 모습

가사 작성을 완료했다면, 파일 -> 내보내기 메뉴를 통해 악보를 저장할 수 있습니다.

'압축되지 않은 MusicXML 파일 (*.musicxml)' 포맷으로 저장해주시기 바랍니다.

 

노래 불러보기

이제 드디어, 노래를 불러볼 시간입니다. 다운로드 받은 NEUTRINO의 압축을 풀어주세요.

압축을 풀면 위와 같은 폴더 구조가 나타납니다.

방금 작성한 악보를 'score -> musicxml' 폴더 안에 넣어주세요.

그 후 Run.bat 파일을 메모장등의 에디터로 열어줍니다.

 

set BASENAME=의 sample1 부분을 방금 작성한 악보 파일의 이름 중 .musicxml 확장자를 제외하고 적어주세요.

만약 작성한 악보 파일의 이름이 WHITEALBUM.musicxml 이라면, WHITEALBUM 이라고 입력하면 됩니다.

 

마지막으로, set ModelDir= 부분에는 원하는 모델 이름을 적어주세요.

현재 사용 가능한 모델은 기본적으로 KIRITAN 또는 YOKO 입니다.

 

이외에도 필요한 경우, set PitchShift=의 값을 조정해서 음의 높낮이를 변경할 수 있으며,

set FormantShift=의 값을 조정해서 노래의 성질을 변화시킬 수 있습니다.

FormantShift 값은 높을수록 아이처럼, 낮을수록 어른처럼 변합니다.

(0.85 ~ 1.15가 추천 범위입니다.)

 

준비되었으면, Run.bat 파일을 실행해주세요.

작업이 완료되면 'output' 폴더에 결과물 .wav 파일이 생성됩니다.

 

실행 결과물

저는 개인적으로 게임 WHITE ALBUM의 OST 악보를 구해서 가사를 입력 후 돌려보았습니다.

 

[ WHITE ALBUM - 음정 기본 (1.0) ]

 

[ WHITE ALBUM - 음정 낮춤 (0.75) ]

 

개인적으로 음정을 조금 낮춘게 더 자연스럽게 들리는 것 같습니다.

멜로디 없이 노래 목소리만 나오기 때문에, 원본 MR과의 합성은 직접 진행해야 할 것 같네요.

 

준비한 내용은 여기까지 입니다, 생각보다 재미있으니 여러분들도 꼭 한번 시도해보세요!