ElevenLabs 推出免费 AI 语音隔离器,与 Adob​​e 竞争

ElevenLabs是一家以语音克隆、 文本转语音和语音转语音模型而闻名的人工智能语音初创公司,它刚刚在其产品组合中添加了另一种工具:人工智能语音隔离器

该产品从今日开始在 ElevenLabs 平台上推出,允许创作者从任何内容(从电影到播客或 YouTube 视频)中消除不需要的环境噪音和声音。 

该公司推出Reader 应用程序仅几天后,这款应用程序就问世了,而且可以免费使用(有一些限制)。不过,用户还必须注意,该功能在市场上并不是全新的。许多其他创意解决方案提供商(包括 Adob​​e)都提供了增强内容语音质量的工具。唯一有待观察的是,与它们相比,Voice Isolator 的效果如何。

AI 语音隔离器如何工作?

在录制电影、播客或访谈等内容时,创作者经常会遇到背景噪音的问题,即不想要的声音会干扰内容(想象一下随机的人说话、风吹或路上驶过的车辆)。这些噪音在拍摄过程中可能不会被注意到,但可能会影响最终输出的质量——主要是有时会抑制说话者的声音。

为了解决这个问题,许多人倾向于使用具有环境噪音消除功能的麦克风,在录制过程中消除背景噪音。它们可以完成这项工作,但在许多情况下可能无法使用,尤其是对于资源有限的早期创作者而言。这就是基于人工智能的工具(如 ElevenLabs 的全新语音隔离器)发挥作用的地方。

该产品的核心工作是在后期制作阶段,用户只需上传他们想要增强的内容即可。文件上传后,底层模型会对其进行处理,检测并消除不需要的噪音,并提取清晰的对话作为输出。 

ElevenLabs 表示,该产品提取的语音质量与录音棚录制的内容类似。该公司的设计主管 Ammaar Reshi 还分享了一个演示,其中可以看到该工具消除了吹叶机的噪音,提取了说话者清晰的语音。

我们进行了三项测试,以测试语音隔离器在现实世界中的适用性。在第一个测试中,我们说了三句话,每句话都受到背景中不同噪音的干扰,而其他两个测试中,我们说了三句话,这些噪音在随机点不规则地混合出现。 

在所有情况下,该工具都能在几秒钟内处理音频。最重要的是,它几乎在所有情况下都能消除噪音——从开门/关门、敲桌子到拍手和移动家居用品——并提取清晰的语音,没有任何失真。它唯一无法识别和去除的声音是敲墙和打响指的声音。 

负责公司发展业务的 Sam Sklar 也告诉我们,目前它还不适用于音乐人声,但用户可以在该用例上尝试,并且可能会成功处理某些歌曲。 

可能会有所改进

虽然 Voice Isolator 能够消除不规则的背景噪音,这无疑使其从大多数其他仅能处理平坦噪音的工具中脱颖而出,但仍有改进的空间。希望 ElevenLabs 能像所有其他工具一样进一步提高其性能。 

值得注意的是,该公司并未透露太多有关该工具底层模型的信息,也未透露该工具中的记录是否用于训练其模型。Sklar 表示,他无法透露模型创建的具体细节,但他强调,该公司的隐私政策中有一个链接表格,用户可以选择不使用个人数据进行训练。

截至目前,该公司仅通过其平台提供Voice Isolator 。该公司计划在未来几周内开放 API 访问,但具体时间表尚不清楚。对于访问网站或应用程序试用该工具的用户,ElevenLabs 提供免费访问,但有一定的使用限制。

“语音隔离器型号每分钟音频收费 1000 个字符。我们网站上有一个免费计划,每月提供 10000 个字符,因此每月可以免费使用 10 分钟音频,”Sklar 解释道。这意味着想要从较大的音频文件中消除背景噪音的用户必须切换到付费计划,起价为每月 5 美元,按月计​​费。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注