近日，法国 AI 实验室 Kyutai 与 Mirelo 团队联合发布了一款名为 **MuScriptor** 的新一代开源模型。该模型专注于多乐器音乐转录任务，能够将复杂的音频混音直接转换为 MIDI 格式，为音乐信息检索（MIR）和计算机音乐领域带来了新的突破。
MuScriptor 采用了目前大模型领域主流的“仅解码器 Transformer”架构。这种架构天生具有极强的序列生成能力，类似于 ChatGPT 生成文本的原理，使其在处理音符序列时能够保持极高的连贯性和效率。与以往需要大量算力训练的专有模型不同，MuScriptor 开放了模型权重，极大地降低了开发者使用该技术的门槛。
为了保证转录的准确性，MuScriptor 在训练阶段融合了真实录音数据与合成数据。研究团队使用了 17 万条真实的音乐录音进行微调，同时辅以 145 万条合成 MIDI 数据。这种“虚实结合”的训练策略，既保证了模型对真实声音的感知能力，又扩大了其处理不同风格的泛化能力。模型特别针对全乐队混音进行了优化，能够同时处理多种乐器同时发声的复杂情况，解决了传统模型在多音轨处理上的瓶颈。
在技术实现上，MuScriptor 采用了独特的三阶段流程。首先，模型会对输入的音频进行初步的乐器分离与识别；随后，根据识别出的乐器类型，精准转录对应的音符；最后，对生成的 MIDI 进行微调优化。这种分步处理的方式有效降低了错误率，特别是在处理多乐器混音时，能够显著减少乐器间的串音现象。此外，模型支持乐器条件设置，用户可以指定希望转录的乐器，从而获得更纯净的输出结果。
在基准测试中，MuScriptor 展现出了强大的竞争力，其性能甚至超越了目前的行业标杆 YourMT3+。特别是在乐器条件设置方面，模型能够更清晰地分辨钢琴、鼓组、吉他等多种乐器，提供了比以往模型更细致的转录精度。
随着 AI 音乐生成工具的兴起，高质量的 MIDI 转录成为了连接人类创作与 AI 生成之间的关键桥梁。MuScriptor 的开源发布，意味着开发者无需昂贵的算力，也能在本地运行高质量的音频转 MIDI 工具。这将对音乐制作、编曲辅助以及音乐教育等领域产生深远影响。目前，该项目已开放交互式演示，供用户直接体验其强大的转录能力。
信息来源：MarkTechPost，原文链接：https://www.marktechpost.com/2026/07/10/kyutai-releases-muscriptor-an-open-weight-decoder-only-transformer-for-multi-instrument-music-transcription-to-midi/
