用科技赋能文化: 喜马拉雅用AI技术让内容生产提效 让内容体验增值

2023-01-16 11:00:44     来源:

日,喜马拉雅用单田芳AI合成音所制作的TTS(语音合成)专辑总播放量破亿,这标志着喜马拉雅在现有的“UGC + PGC + PUGC”内容生态之外,已经通过AIGC探索出内容生产的更多可能

据悉,喜马拉雅“单田芳声音重现”等账号下上线的运用单田芳AI合成音所制作的专辑数量已经有100多张,总播放量超过1亿。其中,有15张专辑播放量破百万,例如,《民国四大家族》播放量730万,《十二金钱镖》播放量700万,《卧虎藏龙全集》播放量超390万。

通过行业领先的TTS技术,喜马拉雅用AIGC引领长音频行业的内容生产变革,让内容生产提效。与此同时,喜马拉雅还通过多项语音技术的加持,进一步提升用户的内容消费体验。

TTS技术完美复现单式评书

去年9月,在北京单田芳艺术传播有限责任公司授权下,喜马拉雅用TTS技术完美还原已逝的单田芳先生的声音,并首次将单田芳先生的AI合成音全新演绎听众耳熟能详的经典之作。

为了能最大程度保留单老那苍劲、沙哑的独特嗓音以及情感充沛的评书腔调,喜马拉雅智能语音实验室对单田芳先生声音进行潜心探索和研发,通过自主设计单独的韵律提取模块,并将其融入到 HiTTS 技术框架中,不仅完美复现了单老苍劲、沙哑的“云遮月”式独特嗓音,就连他那情感充沛、起伏跌宕的腔调也一并保留了下来,让单老的AI合成音仿佛本尊再现。单田芳先生之子单瑞林也评价表示,“听到TTS声音,心魂间猛然一阵,仿佛父亲又回到这个世界。”

喜马拉雅已在TTS领域潜心钻研多年,并专门成立喜马拉雅智能语音实验室,长期专注于语音合成、识别、语音信号处理、编解码以及智能音效的研究和开发。喜马拉雅智能语音实验室的卢恒博士表示,针对小说的TTS系统和音色选取是喜马拉雅TTS的亮点与特色。用真实自然的TTS音色演绎有声小说是非常难的,不同于普通的文字转语音,用TTS音色演绎小说需要学小说中的抑扬顿挫、情感表达、上下文关系,区分旁白和对白,并最终将作品完美演绎出来。“喜马拉雅在这方面有着天然的优势。在音频赛道耕耘多年后,喜马拉雅已经聚集了海量有声书内容和众多优秀主播。喜马拉雅智能语音实验室尝试用各式的声音来表达不同的情感、题材和频道,因而就有了更大的试验和发挥空间。”

卢恒博士介绍,喜马拉雅自研的TTS前端文本处理分析模块已经能够高精度、全自动地对文本进行多音字识别、韵律预测和风格分类,并已开发出可以实现多情感、多风格、多语种声音的TTS技术模型,不仅可以演绎不同情绪的文字,还可以自动区分旁白、对白,并支持英文,极大地丰富了TTS能表达的情感和韵律。

目前,喜马拉雅已申请了20多项语音技术相关专利,其中有10多项TTS语音合成相关专利。 今年,还有两项语音技术成果先后被世界顶尖学术会议“2022年IEEE国际音频、语音与信号处理会议”收录,展现了喜马拉雅强大的语音技术实力。

AIGC助力内容生产提效

通过行业领先的TTS技术,喜马拉雅成为音频领域AIGC的先行者。除了评书,喜马拉雅多情感、多风格、多语种声音的TTS技术模型已经广泛被运用于新闻、小说、财经专辑等多种内容的制作中。喜马拉雅签约和制作了不同的TTS音色,来适配不同的内容、满足用户多样的需求。

例如,喜马拉雅原创TTS音色“喜晓峰”和“枪枪”已被应用于《听秦说》《36氪·氪金大事件》《海清评财经 | 股票、债券及基金投资的一线参谋》等财经专辑内容中。其中,“秦朔朋友圈”账号下《听秦说》专辑过去更新频率为每周一次,但在采用喜马拉雅TTS技术后,开始每日更新。

“秦朔朋友圈”发起人、中国商业文明研究中心联席主任、及《听秦说》主播秦朔表示,过去没有使用喜马拉雅TTS技术时,需要真人录制专辑内容,耗时长,更新频率低,而使用TTS技术后,内容生产效率大幅提升,可以让“秦朔朋友圈”的文章即时音频更新,轻轻松松便实现了日更,专辑的播放量和互动数据都显著提升。

除此之外,新京报、环球时报、潇湘晨报、时代周报、海外网、刺猬公社等数十家媒体也通过喜马拉雅多种标准普通话男声和女声的TTS音色上线了超过40张TTS专辑。

今年,喜马拉雅基于自研的TTS框架,采集头部主播“喜道公子”的真声打造的AI主播“喜小道”,与AI续写应用“彩云小梦”合作,打造了首个从故事创作到演播均由AI完成的AI电台。

AIGC不仅助力喜马拉雅和内容创作者实现内容生产提效,推动创作者布局音频,实现转型升级,也给用户带来更丰富的内容。

AI技术助力内容体验增值

与此同时,喜马拉雅也通过TTS、ASR、语音信号处理算等多种AI技术进一步提升用户的内容消费体验。

目前,喜马拉雅已经与百家网络台和出版机构合作上线6万本电子书,而TTS技术能为这些电子书实时生成TTS声音,让用户可以边听边看,从而为用户带来“听看一体”的内容服务。

期,喜马拉雅又利用行业领先的自动语音识别技术(ASR)以及对齐算法,上线了全新版本的AI文稿功能,用户在收听喜马拉雅音频内容的时候,也可以在收听页面同步阅读相应的文字内容,享受“边听边看”、“听看一体“的内容消费体验。

全新上线的AI文稿功能,能有效识别无文稿声音内容,为其自动生成文稿;对于已经有原始文稿的声音内容,则采用超长音频与文本的对齐技术,将声音与文稿进行时间戳对轨,从而在声音播放的同时,对相应文字进行同步高亮,实现声字同步,让用户能更便捷地享受边听边看的内容消费体验。这不仅进一步提升用户体验,有利于增强用户粘,也使用户能够在不同场景中,自由切换听和看两种形式,畅享喜马拉雅台上的丰富内容,进一步拓展了喜马拉雅的多元化使用场景。

喜马拉雅还通过语音信号处理算法(SSP)率先在长音频领域带来智能音效,推出超重低音、剧院混响、清澈人声三种喜马拉雅专属音效,让用户可以为不同内容匹配不同音效,享受更加优质的收听体验。接下来,喜马拉雅将上线更多的专属音效,为用户提供更加多样的收听选择。

喜马拉雅作为深受用户喜爱的在线音频台,始终坚持以科技赋能文化。未来,喜马拉雅将继续让技术赋能创作者、服务用户,让内容生产提效,让内容体验增值,用技术加持声音、用声音服务生活。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

标签:

猜你喜欢

华商基金:三维度探究港股投资价值
速8酒店丨与世界首座“双奥之城”北京,来一场浪漫的邂逅
从港科大实验室出发,音科思强势入局辅听市场
2023中国金融科技创新与应用外滩高峰论坛暨第三届长三角金科大赛总决赛成功举办!
四川江安县:阳春镇美食街火爆开街 创新开篇巨作造福民生
和誉医药:做更创新更有全球价值的项目
省政协委员吴太兵建言湖南元宇宙产业发展:强化顶层设计,培育领军企业
来自11个国家的商学院院长“云端”共话科教产融合发展
吉利控股与阿里巴巴签署战略合作协议 广域铭岛携手阿里云打造“汽车数字工厂”
扫雪除冰 洛阳绿都物业为业主出行保驾护航
2022海尔集团营收逆势增长 2023创业再出发
德谕泽成为国内首家招商入驻北京城市副中心运河商务区律所
产业振兴人才先行 度小满领航员人才培养计划在湖南安化启动
引进优质金融资本,助力丽水实体经济发展 ——丽水水街基金产业园“有凤来仪”聚才引智
鼻精灵助力鼻腔守卫 年关将至 鼻精灵愿每一个人健康过年
那些为了让你回家过年默默付出的物流人
万顺叫车实体店荣获全国总工会2022年最美站点称号
富邦华一银行入选中银协“2022年金融服务专精特新中小企业典型案例”
提前避免春节尴尬的肌肤问题!蓓肌安朵态舒缓修护霜来速速救场
转转3C市场分析:苹果正开发低价耳机?二手AirPods同样值得选
积极开展金融知识科普宣传,北银消金助力打造健康绿色金融环境
阅读+公益,向知识传播者致敬,樊登读书点亮更多可能
小鹿妈妈深耕传统文化:牙线正在成为中国用户的新刚需!
密码入云 内生安全 格尔云密码服务获评《中国数字政府数据安全领导者实践》标杆案例
前程无忧2023杰出雇主榜单揭晓
轩博精酿啤酒入选2021年新锐品牌价值榜,成为今年啤酒行业黑马
2022(第九届)中国建设行业年会在三亚顺利召开
学大教育CEO金鑫受邀出席2022年民办职业教育高峰论坛
新年就要更“夺目”!广东浠芮燕教授助你新年焕新肌
推动乡村经济发展,辛巴辛有志公益助农成果丰硕