通信界訊 10月31日消息，2023云棲大會(huì)上，喜馬拉雅展示其最新的自研語(yǔ)音技術(shù)成果，包括喜馬拉雅珠峰語(yǔ)音生成式大模型和第二代智能語(yǔ)音交互系統(tǒng)。
據(jù)介紹，喜馬拉雅珠峰語(yǔ)音生成式大模型，具備快速實(shí)現(xiàn)語(yǔ)音音色和風(fēng)格定制的能力。這一技術(shù)支持豐富場(chǎng)景下的音色實(shí)時(shí)轉(zhuǎn)換，為聲音賦予了創(chuàng)造性的"變聲"能力，宛如給聲音涂上不同的“畫(huà)皮”。此前，喜馬拉雅珠峰實(shí)驗(yàn)室團(tuán)隊(duì)已通過(guò)AIGC方式創(chuàng)作了超過(guò)3.7萬(wàn)部有聲書(shū)專輯，而AIGC作品的每日播放時(shí)長(zhǎng)已超過(guò)250萬(wàn)小時(shí)。
在云棲大會(huì)現(xiàn)場(chǎng)，喜馬拉雅展示了其自研的珠峰語(yǔ)音生成式大模型。該大模型由喜馬拉雅珠峰智人團(tuán)隊(duì)與西北工業(yè)大學(xué)aslp lab展開(kāi)合作，基于自研框架，實(shí)現(xiàn)音頻與文本在統(tǒng)一框架下的稠密訓(xùn)練，用于語(yǔ)音生成任務(wù)，能夠?qū)崿F(xiàn)語(yǔ)音風(fēng)格和音色的zero shot的學(xué)習(xí)和遷移，實(shí)現(xiàn)風(fēng)格和音色的任意組合，同時(shí)，喜馬拉雅基于阿里云數(shù)據(jù)湖3.0構(gòu)建的云原生大數(shù)據(jù)平臺(tái)為語(yǔ)音大模型訓(xùn)練提供了海量高質(zhì)量數(shù)據(jù)， 是喜馬拉雅語(yǔ)音大模型不可或缺的“數(shù)據(jù)引擎”。
據(jù)喜馬拉雅首席科學(xué)家、珠峰實(shí)驗(yàn)室負(fù)責(zé)人盧恒介紹，“喜馬拉雅語(yǔ)音生成式大模型目前已經(jīng)取得了顯著的突破，在音色定制方面實(shí)現(xiàn)了5秒內(nèi)的‘極速克隆’聲音。通過(guò)極少量的數(shù)據(jù)，該模型能夠克隆出具有90%相似度的基本音色，并在短短的10秒內(nèi)快速生成定制音頻。未來(lái)，這項(xiàng)技術(shù)在短視頻創(chuàng)作、數(shù)字人配音、人機(jī)交互對(duì)話、名人IP復(fù)刻等領(lǐng)域有望發(fā)揮出巨大的潛在價(jià)值，有效解決商業(yè)場(chǎng)景中的溝通需求痛點(diǎn)。”
喜馬拉雅珠峰實(shí)驗(yàn)室資深產(chǎn)品專家呂睿韜現(xiàn)場(chǎng)介紹到：該語(yǔ)音大模型采用基于語(yǔ)音向量和語(yǔ)義標(biāo)記的新型語(yǔ)音編解碼器，其中語(yǔ)音向量包含用于高保真語(yǔ)音重建的聲學(xué)細(xì)節(jié)，而語(yǔ)義標(biāo)記（LLM）則側(cè)重于語(yǔ)言建模的語(yǔ)音的語(yǔ)言內(nèi)容，最終實(shí)現(xiàn)高效生成最富有語(yǔ)言表現(xiàn)力和最高保真度的語(yǔ)音（對(duì)話）內(nèi)容。應(yīng)用場(chǎng)景上，該語(yǔ)音大模型可應(yīng)用于語(yǔ)音內(nèi)容生成、口語(yǔ)對(duì)話、語(yǔ)音音色實(shí)時(shí)轉(zhuǎn)換、說(shuō)話風(fēng)格遷移、語(yǔ)音到語(yǔ)音跨語(yǔ)種翻譯、說(shuō)話人匿名化等各種任務(wù)。
喜馬拉雅還將展示其第二代智能語(yǔ)音交互系統(tǒng)，這一系統(tǒng)以阿里云的“通義千問(wèn)”大模型為基礎(chǔ)，以喜馬拉雅兒童形象代言人“波波”為中心，增強(qiáng)了他的自然連貫對(duì)話能力，凸顯了“波波”這一IP形象的特征。該智能語(yǔ)音交互系統(tǒng)已通過(guò)喜馬拉雅兒童APP和喜馬拉雅提供服務(wù)，波波球?yàn)榧彝ビH子用戶提供陪伴對(duì)話功能。
