火山语音引领语音技术革新,声音复刻2.0版5秒克隆你的声音

2023-11-10 18:16:53     来源:

仅仅需要五秒钟就能复刻你的声音?

快来登录火山引擎官网在语音技术下的开放产品体验中心(https://www.volcengine.com/product/voicecloning)体验火山引擎声音复刻2.0版本的惊艳效果吧!

火山引擎声音复刻2.0采用了全新自研语音算法MegaTTS,经专业评测,声音复刻2.0版本与真人录音复刻的平均相似度已高达97.5%,不但超过一半的评测人员认为复刻合成效果与真并无任何差异,而且在金融客服、视频配音、智能语音助手、虚拟数字人等相关场景均可适用!

五秒钟复刻:极速获取高品质AI专属音色

传统技术下,通常声音复刻往往需要用户录制20-100句话,并训练几分钟甚至几小时后才可就绪,这样的“复刻门槛”往往让人缺乏耐心且质量也不尽如人意。

对此,火山引擎音色复刻2.0版本则在全面提升效果品质的同时,还攻克了录制量级及训练时长这两大难关。

其核心算法MegaTTS只需要五秒钟的数据量,就能对各种风格、口音以及声学环境下的音色进行克隆。同时MegaTTS算法具有大模型特有的In-context-learning能力,无需对用户音色进行Fine-tuning就能实现复刻。区别于传统的音色复刻模型,MegaTTS可以免除训练时长,即时极速复刻。

高度还原:平均相似度高达97.5%

此外MegaTTS算法还设计了基于注意力机制的细粒度无限长音色提示模块,以及基于大语言模型的韵律提示模块,在音色与韵律上都能够极高还原用户输入音频的发声特点。

在真实的评测和用户体验中,不但还原之后的平均相似度已高达97.5%,环境音也可以被完美重现。

值得提及的是,火山引擎声音复刻2.0版本为客户了提供多种接入方式,并支持云端接入和私有化集成。无论是在金融客服、视频配音、智能语音助手、虚拟数字人还是其他语音应用场景中都能快速接入。

语音大模型创新范式 MegaTTS将声音复刻带入新境界

火山引擎声音复刻2.0版本采用了火山语音团队全新自研语音算法MegaTTS,新一代算法仅需要用户秒级别的音频数据即可即时完成对用户音色、说话风格、口音和声学环境音的复刻。彻底攻克了传统声音复刻对录音数据量的依赖,超低门槛的数据输入即可获得超高品质的AI专属音色。

实验结果表明,当数据量在10秒到5分钟之间时,MegaTTS不仅可以在任意来源的新用户的短提示下合成保同语音,而且始终优于基于Fine-tuning的基线方法(Portaspeech 2)。

此外得益于音色和韵律独立建模的方式,火山语音的韵律语言模型可以以细粒度和可控的方式将各种说话风格转移到目标音色,甚至可以模仿Rap。未来这些功能也会陆续上线,为更多用户提供创作空间。

一直以来,火山语音团队不断将打磨多年的语音技术能力面向市场并通过火山引擎开放给外部企业,已覆盖汽车、金融、有声阅读、视频配音等众多应用场景,技术能力已成功应用到抖音、剪映、番茄小说等多款国民级产品上,并助力多家行业头部企业实现AI语音能力的应用与拓展。未来火山语音还将不断探索前沿科技与业务场景的高效结合,持续为用户体验和业务增长注入创新势能,以实现更大价值。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

标签:

猜你喜欢

双十一狂欢季,闪回有品为消费者提供手机置换升级优惠方案
助力打造中医药产业园新地标!中海建工中宝药业项目开工奠基
皓森美汇品牌故事|科技引领美丽,健康开启未来
敢破局 谋新篇 2023CIA500领导人峰会隆重召开
盛业受邀参加领潮供应链首届合作伙伴大会
为爱奔跑!益世界11周年主题公益活动温暖回顾
实景三维中国MA基础地理实体标识节点试点全国启动
实景三维中国MA基础地理实体标识节点试点全国启动
“四季黄金”品牌健康能量矿泉好水横空出世
智能建造观摩培训暨建筑企业数字化转型研讨活动在武汉举办
长安储能研究院:智慧工商储新型解决方案——GPOWER
震旦打印机亮相《第一财经》 传递“善办公 爱地球”主张
格力地产:紧抓海洋经济发展机遇,全力推进渔港全产业链发展
燃爆郑州!DoggyGo萌宠狂欢助力品牌迎战购物节!
钱堂教育:三季度权益类ETF规模激增1900多亿元
Citrix退出中国市场,国产高性能桌面云蓄势待发
第134届广交会商务部领导调研天元宠物Petstar品牌猫砂盆首度亮备受关注
水飞蓟提取物有新标准 汤臣倍健健安适、BYHEALTH原料达优质等级
《2023年中国快消企业数字化产品应用与实践报告》重磅发布|第一新声
被央媒"选中"?这次敷尔佳为"中国品牌"代言
第十届全球身份规划巡回展举办在即,海华熙瑞与您相约上海!
进博会:外商点赞中国液氢重卡
ABSK011临床研究数据于2023 ESMO大会发布
《方略》重磅上新 方三文对话郭学文,深度解析主观与量化之争
美利肯参与虹桥国际经济论坛,探索数字治理与可持续发展机遇
美利肯以"零碳展厅"首次亮相进博会
丹纳赫携手植恩生物在渝共建丹纳赫中国西部中心
受益低轨卫星星座建设 航宇微积极推动卫星大数据服务政府新模式
双十一囤货季,欧淬恩高纯度鱼油让健康更简单
数字化内控合规平台,探索银行全面持续监管数字化转型