近期，網(wǎng)上就出現(xiàn)了這樣一段由兩位女聲組合而成的音頻片段。在音頻中，兩位女生追憶了自己當(dāng)年第一次聽到周杰倫的心情，還對周董的音樂風(fēng)格進行了解讀，兩人一問一答，時長長達(dá)近3分鐘。

可是，當(dāng)大家聽著這段音頻節(jié)目，也沉浸在對那時青蔥歲月的美好追憶時，你可曾想到，這段對話，竟然是語音合成的！

提到“語音合成”，你腦海中可能會出現(xiàn)這樣的種種：

·  導(dǎo)航中種類豐富但語氣機械的“前方路口左轉(zhuǎn)”

·  接電話時，對面笨拙無感情的“您好，這里是xx信用卡中心”

·  視頻網(wǎng)站上，十個解說視頻九個聲音相同，看到就想趕快劃走的“注意看，這個男人叫小帥”……

而如今，語音合成技術(shù)竟然已經(jīng)能達(dá)到“天衣無縫”的完美自然效果，就好像真人在對話一樣，直接顛覆了許多人的刻板印象。而這段音頻的發(fā)布者火山語音，字節(jié)跳動 AI Lab Speech & Audio 智能語音與音頻團隊，為了更好地向大眾解密里面的技術(shù)亮點，又提供了兩段音頻——一段，是傳統(tǒng)的語音合成技術(shù)效果，另一段，卻來自火山語音的全新技術(shù)。兩段音頻輸入的文本完全相同—— “南方菜系偏愛蘸料，例如我第一次去上海才知道燒烤里的蔬菜也需要配蘸料” ，但聽上去，合成的音頻效果卻有明顯差異，第二段來源于火山語音團隊的音頻，用上了本次上新的超自然對話語音合成技術(shù)，格外自然，幾乎與真人無異。

回想一下人在日常表達(dá)時的狀態(tài)，大腦處理信息是需要思考時間的。體現(xiàn)到語言上，人就會不由自主的出現(xiàn)一些猶豫、拖音、倒裝，甚至是說了一半改口、結(jié)巴重復(fù)的情況，也會刻意加重讀音強調(diào)想表達(dá)的重點信息。這就帶來了大量難以觀測的細(xì)微表達(dá)。這些現(xiàn)象在傳統(tǒng)的TTS中難以被捕捉還原。而這些細(xì)微之處的完美復(fù)現(xiàn)正是讓聲音真假難辨的奧妙之源，也是上述音頻的奧秘所在。

具體來說，火山語音團隊最新發(fā)布的超自然對話語音合成技術(shù)相較傳統(tǒng)TTS更加真實自然，即語氣詞、吸氣聲、猶豫時的停頓以及字音拖長等細(xì)節(jié)統(tǒng)統(tǒng)被完美復(fù)現(xiàn)，而且只需常規(guī)音庫1/4數(shù)據(jù)，就可完美還原真人說話細(xì)微的韻律特點、發(fā)音口癖，讓合成效果更加真實。有專業(yè)評測結(jié)果顯示，火山語音的這項新技術(shù)與真人錄音對比基本沒有差距，難以被評測者分辨出來。此外這項技術(shù)目前已在視頻配音、電話客服等多個場景投入應(yīng)用，近日即將上線火山引擎語音技術(shù)官網(wǎng)對外露出。

這么厲害的技術(shù)，究竟是怎么辦到的？

據(jù)介紹，上述這些在實際交流中經(jīng)常出現(xiàn)的倒吸氣、吞音、思考時不由自主的拖長字音、低笑等表現(xiàn)被稱為副語言現(xiàn)象（paralanguage），盡管這是人腦思考、表達(dá)過程中最真實的表現(xiàn)，但由于傳統(tǒng)的語音合成技術(shù)框架無法對分布稀疏的副語言現(xiàn)象進行有效建模，所以在說話時的韻律還原度表現(xiàn)有限、過于“正確”。

基于上述難點，火山語音超自然語音合成技術(shù)分別從文本和語音建模兩個層面進行突破，具體來說：

·  在文本層面，火山語音采用了生成式的風(fēng)格遷移模型，模仿真人說話的方式對文本進行可控的口語化轉(zhuǎn)寫，讓文本更好地?fù)肀Э谡Z化，避免最終效果太過書面。

·  在語音層面，團隊則是通過文本分析模型的突破，在TTS的輸入側(cè)額外增加了副語言預(yù)測，模仿真人的發(fā)音特點來實現(xiàn)自然自發(fā)的語音效果。

值得一提的是，團隊通過使用無監(jiān)督特征的TTS建模方案，有效提高了模型的穩(wěn)定性與表現(xiàn)力，僅僅使用常規(guī)音庫1/4的數(shù)據(jù)規(guī)模，就可以實現(xiàn)十分自然多變的韻律效果，很贊吧？

致力文本口語化  讓“擬真人表達(dá)”躍然紙上

文本作為語音合成技術(shù)的輸入，其風(fēng)格是否貼近真人的表達(dá)方式，是合成效果提升的第一步；但受限于根深蒂固的書寫用語習(xí)慣，大多數(shù)合成前的文本并不夠自然，或者需要投入大量精力不斷調(diào)整，費時費力。為了解決此類問題，火山語音團隊采用了兩階段方案并取得了不錯的效果：

·  階段一：采用自監(jiān)督方法，使用偽數(shù)據(jù)對口語化模型進行預(yù)訓(xùn)練，降低了數(shù)據(jù)量的需求；同時在模型中引入了指針網(wǎng)絡(luò)結(jié)構(gòu)，增強了文本可控性。

·  階段二：利用少量優(yōu)質(zhì)的人工標(biāo)注數(shù)據(jù)，對預(yù)訓(xùn)練好的口語化模型進行微調(diào)，最終實現(xiàn)可控的、自然的口語化文本效果。

為了更好地還原真人，區(qū)別于傳統(tǒng)的語音合成技術(shù)，火山語音在副語言建模和韻律多樣性上也分別進行了深入研究。在副語言建模方面，團隊推出的合成技術(shù)實現(xiàn)了聲學(xué)模型對自然表達(dá)中出現(xiàn)的吸氣、笑聲、猶豫、修正等多種副語言現(xiàn)象建模，并且結(jié)合文本的語義信息自動插入副語言現(xiàn)象。在插入過程中同時考慮合理性與隨機性，表現(xiàn)更加自然真實。

副語言建模+韻律多樣性可圈可點   語音真實感全面升級

“在韻律多樣化的探究中，我們結(jié)合無監(jiān)督表征學(xué)習(xí)技術(shù)，自主研發(fā)了高表現(xiàn)力的聲學(xué)模型框架，通過發(fā)音、韻律、音色解耦等方式，不但降低了數(shù)據(jù)量的需求，實現(xiàn)對出現(xiàn)頻率極低發(fā)音現(xiàn)象的高效建模；同時使用無監(jiān)督表征特征并結(jié)合音素級別的基頻、能量信息等，實現(xiàn)了韻律的自然多變，促成高質(zhì)量對話語音生成?！被鹕秸Z音團隊總結(jié)道。

火山語音，字節(jié)跳動AI Lab Speech&Audio智能語音與音頻團隊，長期以來面向抖音、剪映、番茄小說、飛書等業(yè)務(wù)提供領(lǐng)先的AI語音技術(shù)能力及全棧語音產(chǎn)品解決方案，并通過火山引擎向外部企業(yè)開放技術(shù)服務(wù)。