***YAI 11th Industry-Academic Cooperation with POZAlabs***

”Music generation from Unclear midi SEquence with Diffusion model”

Team Member : 이상민, 김동하, 김태헌, 이승재, 최우현, 최정우

Team Github : https://github.com/YAIxPOZAlabs/MuseDiffusion ****

Diffusion 팀👊👊👊🎵

Index

📝 Report

POZAlabs Diffusion Team Final Report.pdf

POZAlabs 산학협력 2팀 (Diffusion 팀) 중간 보고서

💁‍♂️ Project Information

• Subject: Midi-data Modification based on Diffusion Model
• Development Area: 인공지능 (Generation task)
• Objective: diffusion model을 이용하여 잘못 생성된 midi-data를 수정하는 모델 개발
• Dataset: ComMU [NeuralPS, 2022] meta data - midi sample ( 11144 pair )
• Diffusion model forward, backward process를 통해 원본 데이터들을 noise화하고 de-noise화 하는 과정을 통해 특정 input 데이터들을 통해 그에 맞는 데이터들을 생성하는 모델
• Description meta-midi sample이 pair로 있는 ComMU데이터들을 활용하여 midi sample을 noise하고 de-noise하는 방식으로 학습을 진행하여 meta data와 잘못생성된 midi sample의 상관관계를 이해하는 모델을 생성하여 최종적으로 잘못 생성된 midi sample을 meta정보에 맞는 midi sample로 수정해주는 모델을 생성하도록 한다.