6月26日，科大訊飛語音合成技術(shù)迎來全新升級，一句話聲音復(fù)刻與超擬人合成兩大核心能力實現(xiàn)突破。專業(yè)測評數(shù)據(jù)顯示，公司一句話聲音復(fù)刻技術(shù)在相似度、準確度等維度處于行業(yè)領(lǐng)先水平。

科大訊飛研究院院長劉聰表示：“我們希望聲音不止于工具，更成為承載情感與個性的新維度，賦能更多場景行業(yè)、催生更多可能?！?/p>

2024年4月，訊飛星火APP上線“一句話聲音復(fù)刻”功能，廣受用戶好評。本次技術(shù)突破，除星火語音大模型底座的基礎(chǔ)和持續(xù)迭代外，還構(gòu)建了一套三階段層次化語音建模框架：首先通過星火底座大模型精確捕捉發(fā)音規(guī)律和韻律特征；其次，在音色恢復(fù)階段解耦并重構(gòu)聲學(xué)特征；最后，通過高精度聲碼器恢復(fù)高保真波形。

據(jù)悉，在智能語音領(lǐng)域，聲音復(fù)刻效果的核心指標圍繞相似度與準確度兩大維度展開。相似度決定“第一耳印象”，包含音色特質(zhì)及風(fēng)格韻味；準確度則關(guān)乎聲音復(fù)刻是否好用，確保發(fā)音標準、停頓自然、語氣連貫。

本次科大訊飛在聲音復(fù)刻場景針對性進行兩項關(guān)鍵技術(shù)的嘗試與突破，一是音色編碼增強，即在聲學(xué)模型中創(chuàng)新性地融合全局聲紋嵌入與局部幀級音色編碼，提取細粒度音色特征，并構(gòu)建聲紋空間語義一致性損失函數(shù)，顯著提升音色恢復(fù)的相似度；二是強化學(xué)習(xí)，通過語音魯棒性評價模型和人工標注構(gòu)建偏好數(shù)據(jù)集，采用基于DPO的強化學(xué)習(xí)策略，大幅提升合成語音的穩(wěn)定性和自然流暢度。

從曾經(jīng)要錄上數(shù)十個小時的語音素材，到錄入幾段話，再到現(xiàn)在僅用一句話就能復(fù)刻聲音，語音合成技術(shù)一直在向更快、更好、更易用的方向進階。業(yè)內(nèi)人士表示，一句話復(fù)刻技術(shù)的突破，顯著降低了應(yīng)用門檻，在AI賦能千行百業(yè)的大背景下，讓更多的場景和行業(yè)衍生出更多的個性化需求。

值得一提的是，在需要深入交流的場景里，僅有相似音色并不足夠。科大訊飛本次突破的超擬人合成技術(shù)，重點是賦予AI聲音以“上下文情商”。通過研發(fā)上下文感知的語音生成系統(tǒng)，融合歷史文本及對應(yīng)音頻特征，實現(xiàn)跨模態(tài)編碼器分析上下文，讓AI聲音能像真人一般敏銳響應(yīng)情緒轉(zhuǎn)變和話題轉(zhuǎn)換，整體自然度接近真人水平。

當(dāng)前，科大訊飛AI語音技術(shù)已在各行各業(yè)落地生根，其中智能座艙領(lǐng)域應(yīng)用成果最為顯著。今年初，蔚來在“Banyan 榕 3.1.0版本”中為NOMI助手引入的超擬人情感音色，正源于科大訊飛的深度賦能，搭載該技術(shù)的蔚來新車型（如ET9、新ES6/EC6/ET5系列等），成為行業(yè)首款應(yīng)用AI生成式語音合成框架的車型。除蔚來外，奇瑞、廣汽、長城、日產(chǎn)、本田等主流車企均選擇了訊飛超擬人技術(shù)。

其他行業(yè)方面，星火語音大模型技術(shù)底座已服務(wù)全國5萬余所學(xué)校、600家醫(yī)院及眾多金融機構(gòu)。

在教育領(lǐng)域，星火大模型賦能的AI學(xué)習(xí)機已能像真人教師般開展多輪對話診斷學(xué)情，為學(xué)生定制個性化學(xué)習(xí)路徑；在數(shù)字內(nèi)容創(chuàng)作領(lǐng)域，訊飛智作平臺的超擬人數(shù)字人技術(shù)實現(xiàn)“一張照片+一句話錄音”定制專屬虛擬人，該技術(shù)已幫助天津大學(xué)教師打造慕課個人IP，簡化教學(xué)視頻制作流程；在醫(yī)療領(lǐng)域，搭載情感合成技術(shù)的導(dǎo)診機器人使用方言與老年患者交流時，對話自然度提升200%。