30分钟音频当数据任何音色零门槛生成产品不要钱体验
您当前的位置 : 首页 > 新闻中心

30分钟音频当数据任何音色零门槛生成产品不要钱体验

2024-02-29 20:25:18

  连声音都可以是AI生成的,何时变声器已经能做到这个地步了,带着一丝震惊,我们深入了解了这款产品背后的技术团队,并得知了一个更加惊人的事实:

  这意味着在未来声音合成的门槛几乎为零,而这项技术是由国内一家年轻的AI初创公司格子互动自研的大饼AI变声,基于深度学习实现的声音转换(Voice Conversion)。

  以往个人会使用的传统变声器应该要依据输入声源不断调整参数,而Voice Conversion能够给大家提供更稳定的声音输出,让任何输入人声都高质量的转换成目标音色(Any to One)。

  在Diffusion(图像)和GPT(文字)卷到飞起的同时,AI语音生成这片蓝海正在慢慢的变成为AIGC领域的下一个热点。

  近期山东文旅宣布为旗下主持人海蓝生成了数字分身,并使用大饼声音引擎的产品为其定制了声音皮肤,引发了大量关注。

  抑扬顿挫,委婉洒落。通过VC输出的声音极其细腻地还原了真人的语气、情绪和声音特征。

  并且相较于非实时场景下对完整音频的声音转换,实时声音转换有着更丰富的落地场景。在RTC领域,如直播、虚拟人等场景,变声的结果需要在很短的延迟内实时流式的生成,才可能正真的保证音画同步。

  大饼团队针对这一点,通过对模型进行一直在优化,使得实时转换延迟低于50ms,在实际使用的过程中几乎感受不到。

  不仅可以接入到微信、腾讯会议等社交办公软件中,同样支持在英雄联盟、CSGO、狼人杀、Steam等游戏和游戏平台中同步使用。

  一方面,变声带来了更丰富的可玩性和趣味性,另一方面,变声也保障了用户在线上社交时的隐私安全性,免去不必要的骚扰和歧视。

  例如不少女性玩家曾经在玩游戏因为性别而被对手,甚至队友攻击,选择Carry角色却被认为不够格。

  在线上游戏尤其是MMORPG等角色扮演游戏中,人们往往展现出和真实的生活里截然不同的性格和人格,而这正是因为这些玩家游玩在线游戏的本质是希望在游戏里找到并扮演最完美、最理想的自己。

  AI变声的出现可以让玩家在游玩过程中使用符合自己虚拟人设的声音皮肤,从而更好的带入角色,沉浸于游戏世界中。

  就在6月2日,大饼推出了首个Windows实时变声客户端,用PC搜索“大饼AI变声”,即可前往官网免费下载试用。客户端内置丰富的音色选择,并且支持48k的高清音质输出。

  所以,这样一款好用易上手的AI变声工具背后究竟用到了哪些技术,而相比于以往传统的变声器,又有哪些不同呢?

  传统软件变声是对语音信号做处理,通过改变输入声音频率,进而改变声音的音色、音调。

  由于每个人的音色特征不同,要一直调整声音参数,而这也很难保证输入音色效果稳定。

  而声音转换(Voice Conversion)是根据发声者的说话音频,将音频中的音色转换到目标发音人上,并保持说话内容、韵律情感等一致。将发声者的情感、抑扬顿挫、停顿等一并保留并输出,换一种语言也能自然地转换。

  能获得实时变声+声音克隆的效果,不需要使用者夹着嗓子发声,不需要因为声音不同而重新调试参数。任何人开启引擎,都可以实时稳定变声目标声音。

  并且在输出声音的质量上,也远远优于传统变声器。保留情感,抑扬顿挫的同时,支持多语种、方言的声音转换。

  并且AI变声不再需要物理机架以及声卡这些额外的专业设备支持,大饼自带虚拟声卡,保证了傻瓜式的操作的过程,将使用门槛和成本降到了最低。

  事实上,不少科技大厂和巨头纷纷组建AI语音研究团队,朝着语音合成的方向暗暗发力。

  大饼声音引擎,则是目前为止最集中在数字声音资产方向的生成式模型产品。其背后的AI初创公司格子互动,成立于2021年。

  创始人凌天格是一位毕业于美国卡耐基梅隆计算机系的00后,团队的CTO徐颖则是前阿里巴巴语音算法专家,而CMO刘建俊曾任职于新浪、盛大及恺英网络VP,有多年的互联网经验。

  这支新老搭档的团队在短短一年半的时间内前后获得源码资本与奇绩创坛的两轮投资。

  团队专注于声音领域,语音合成的研究与商业化。在AIGC还未成为热点的2021年就已经决定专注做声音的AI生成。而这个颇具魄力,在业内已经小有名气,极有“少年感”的团队,平均岁数只有26岁。

  短短半年时间,大饼变声引擎完成了多项技术的突破和上线,发布了PC实时变声客户端、以SDK形式登录声网云市场。

  AIGC的价值就是把创作的门槛降到最低。试想在虚拟与现实逐渐交融的未来,任何一个人都可以不要钱、零门槛地有自己想要的声音,并在游戏、元宇宙等场景中使用符合自己虚拟人设的声音进行社交互动,自由开口,或许我们距离真正的“沉浸式”,又更近了一步。