🚀 风格预测功能: 具备说话风格预测,根据语音自动调整动画表情,使得生成的动画更加贴近原始音频。
图源备注:图片由AI生成,图片授权服务商Midjourney
看到这里,我不禁想发出疑问:一款派对游戏,到底是在什么时候开始成为年轻人的精神乐园的?
除了可以从文字生成音乐外,它还支持图像、视频和音频生成音乐,并且还可以编辑已有的音乐。该项目利用了MERT等编码器进行音乐理解,ViT进行图像理解,ViViT进行视频理解,并使用MusicGen/AudioLDM2模型作为音乐生成模型(音乐解码器)。用户可以轻松移除或替换特定乐器,调整音乐的节奏和速度。这使得用户能够创造出符合其独特创意的音乐作品。
此外,M2UGen还加入了适配器和LLaMA2模型,使得该模型具备多种能力。