繼視頻創(chuàng)作模型Sora后，OpenAI又放大招……
日前，OpenAI宣布推出全新人工智能模型。根據(jù)官方介紹，此次新聞的“主角”名為Voice Engine，是一款語(yǔ)音創(chuàng)作模型，利用文本輸入和單個(gè)15秒音頻樣本，能夠生成與原說(shuō)話者非常相似且情感豐富的自然語(yǔ)音。
圖源：網(wǎng)絡(luò)
談及Voice Engine，OpenAI官方推特的措辭顯得異常小心而謹(jǐn)慎“我們正在分享從 Voice Engine模型的小規(guī)模預(yù)覽中獲得的經(jīng)驗(yàn)體會(huì)”。
目前，OpenAI僅針對(duì)少部分內(nèi)測(cè)用戶開(kāi)放了Voice Engine。
Voice Engine：是顛覆，也做好了風(fēng)險(xiǎn)預(yù)設(shè)？
事實(shí)上，早在2022年底Voice Engine便已經(jīng)開(kāi)發(fā)完成。彼時(shí)，Voice Engine被用來(lái)為文本到語(yǔ)音API以及ChatGPT語(yǔ)音和朗讀功能提供支持。不過(guò)，出于合成語(yǔ)音被濫用的考慮，OpenAI才選擇了謹(jǐn)慎有序地推進(jìn)和發(fā)布。
圖源：大模型之家
如今，Voice Engine正式上市，不僅解鎖了語(yǔ)音模型更多可能性，還為AI在語(yǔ)音創(chuàng)作領(lǐng)域的巨大優(yōu)勢(shì)作出了十分具象化的表達(dá)。
根據(jù)公告顯示，OpenAI主要介紹了Voice Engine 5 個(gè)合作案例，分別為教育、多語(yǔ)言翻譯、社區(qū)衛(wèi)生、輔助通訊、神經(jīng)科學(xué)等領(lǐng)域。于此，我們不禁發(fā)問(wèn)：Voice Engine，到底有何不同呢？
首先，Voice Engine極大地縮短了語(yǔ)音制作周期。以目前最為火熱的短視頻制作為例，傳統(tǒng)的配音制作通常需要經(jīng)歷配音演員錄音→編劇/導(dǎo)演調(diào)整→后期剪輯制作→導(dǎo)演復(fù)審→成片這一流程。而Voice Engine模型則僅需提取相關(guān)配音演員的15秒樣本，就能創(chuàng)造出富有感情和逼真的聲音。從模式上來(lái)說(shuō)，Voice Engine簡(jiǎn)化了原有的復(fù)雜流程，提高了工作效率；從配音演員的角度上看，Voice Engine大大提高了其自身的工作效率，讓“批量接活”、“批量成片”成為了現(xiàn)實(shí)。
其次，Voice Engine為語(yǔ)音創(chuàng)作提供了更高的創(chuàng)作自由度。相較于傳統(tǒng)語(yǔ)音創(chuàng)作，用戶只需通過(guò)簡(jiǎn)單15秒的語(yǔ)言情緒表達(dá)，便可在Voice Engin的加持下為“成品”賦予多種“地若懸河”的語(yǔ)音表達(dá)色彩。眾所周知，由于目前市面上的內(nèi)容分享平臺(tái)風(fēng)格特性具有較大的差異化，因此不同平臺(tái)的“成品”評(píng)價(jià)標(biāo)準(zhǔn)并不相同，而Voice Engine創(chuàng)作自由度等特點(diǎn)，也在一定程度上為作品與不同平臺(tái)的適配度奠定了基礎(chǔ)。
同時(shí)，Voice Engine的語(yǔ)音生成質(zhì)量也頗為出色。據(jù)悉，該技術(shù)在語(yǔ)音生成過(guò)程中并不使用用戶數(shù)據(jù)進(jìn)行訓(xùn)練或微調(diào)，而是通過(guò)結(jié)合Diffusion過(guò)程與Transformer技術(shù)直接生成語(yǔ)音，且在生成后會(huì)立即刪除使用的音頻數(shù)據(jù)。這使得生成的語(yǔ)音具有高度的還原感的同時(shí)，保障了用戶隱私。
值得注意的是，Voice Engine使用過(guò)程中所涉及到的“合成語(yǔ)音引發(fā)的電信詐騙”、“版權(quán)侵害”等社會(huì)風(fēng)險(xiǎn)問(wèn)題也引發(fā)了大量討論及擔(dān)憂。
為此，OpenAI表示采取了一系列措施來(lái)確保安全，包括添加水印以追蹤使用方式、淘汰基于語(yǔ)音的身份驗(yàn)證、教育公眾了解AI技術(shù)的能力和局限性等。通過(guò)這些舉措，OpenAI希望在保證技術(shù)潛力的同時(shí)，增強(qiáng)對(duì)潛在問(wèn)題的抵御能力。
語(yǔ)音創(chuàng)作行業(yè)的雙刃劍
誠(chéng)然，雖然自其問(wèn)世以來(lái)，關(guān)于“Voice Engine是否會(huì)取代相關(guān)工作人員”的爭(zhēng)論不絕于耳，但在大模型之家與一眾視頻、紀(jì)錄片從業(yè)者交流后發(fā)現(xiàn)，持“看好態(tài)度”的從業(yè)者占據(jù)比例超過(guò)半數(shù)。同時(shí)，他們強(qiáng)調(diào)：Voice Engine不僅會(huì)成為語(yǔ)音制作過(guò)程中有力的助手，也將一定程度上實(shí)現(xiàn)效率、質(zhì)量雙方面的提升。從長(zhǎng)遠(yuǎn)來(lái)看，Voice Engine可能會(huì)對(duì)相關(guān)行業(yè)產(chǎn)生一定程度的沖擊，推動(dòng)聲音工作的標(biāo)準(zhǔn)化、流程化。
同時(shí)，Voice Engine模型作為一種強(qiáng)大語(yǔ)音創(chuàng)作的工具，為配音演員提供了一種全新的創(chuàng)作方式。目前，Voice Engine的定價(jià)為每百萬(wàn)字符15美元，雖然存在“高清”選項(xiàng)，且其價(jià)格是標(biāo)準(zhǔn)價(jià)格的兩倍，但OpenAI表示兩者在聲音質(zhì)量上并無(wú)區(qū)別。這不僅意味著語(yǔ)音創(chuàng)作門檻的降低，也在一定程度上使配音演員賽道向智能化、統(tǒng)一化過(guò)渡。
“Voice Engine生成的語(yǔ)音可能會(huì)缺乏某種真實(shí)感和細(xì)膩度。眾所周知，目前社交平臺(tái)上的廣告已經(jīng)完全摒棄傳統(tǒng)廣告行業(yè)的‘開(kāi)門見(jiàn)山’，更多的是以劇情化、情感化故事為線索。而人工智能生成的語(yǔ)音或許能通過(guò)提取聲音素材找到配音演員的‘氣息發(fā)聲特點(diǎn)’，但仍會(huì)缺乏某種情感上的共鳴。”國(guó)內(nèi)某綜藝后期剪輯師告訴大模型之家。
當(dāng)然，也有一位視頻后期從業(yè)者向大模型之家表示了擔(dān)憂，指出雖然從技術(shù)層面不會(huì)對(duì)語(yǔ)音從業(yè)者造成實(shí)質(zhì)性影響，但卻可能影響整個(gè)視頻的良性格局。“這種配音我們?cè)跓o(wú)需真人拍攝，只需從網(wǎng)上尋找素材進(jìn)行拼湊剪輯的時(shí)候會(huì)大量使用，但這種情況下生成的成品質(zhì)量十分‘穩(wěn)妥’，可以說(shuō)是千篇一律了”，這種變化可能會(huì)影響到整個(gè)行業(yè)的創(chuàng)新性和市場(chǎng)地位，因此仍然存在一定程度的擔(dān)憂和不確定性。
因此，大模型之家認(rèn)為，盡管大眾都在討論Voice Engine問(wèn)世帶來(lái)的一些“負(fù)面”影響，但其所催化的新機(jī)會(huì)與新的行業(yè)模型才更應(yīng)被重點(diǎn)關(guān)注。Voice Engine的出現(xiàn)不僅簡(jiǎn)化了語(yǔ)音制作流程，提高了效率，還為配音演員與這項(xiàng)技術(shù)的經(jīng)濟(jì)互動(dòng)帶來(lái)了更多的可能。我們相信，隨著Voice Engin技術(shù)的普及和應(yīng)用，擬人化創(chuàng)作的空間將愈加擴(kuò)大，未來(lái)也會(huì)有更多出彩的語(yǔ)音創(chuàng)作作品涌現(xiàn)。
當(dāng)然，從本質(zhì)上看，Voice Engine是AI語(yǔ)音技術(shù)的延伸和發(fā)展。它的出現(xiàn)將進(jìn)一步推動(dòng)大模型的場(chǎng)景落地及想象邊界，促進(jìn)相關(guān)技術(shù)的不斷迭代和進(jìn)步。對(duì)于整個(gè)OpenAI 來(lái)說(shuō)，Voice Engine的問(wèn)世補(bǔ)全了其多模態(tài) AIGC 工具的又一塊拼圖，讓其成功蛻變?yōu)椋何纳摹狦PT、文生圖—DALLE、音頻轉(zhuǎn)文字（STT）——Whisper、文字轉(zhuǎn)音頻（TTS）——Voice Engine、文生視頻——Sora、多模態(tài)理解——GPT-4v的全能格局。縱使現(xiàn)在格局顯得有些零星分散，但卻是OpenAI通往 AGI 的道路上，領(lǐng)先且強(qiáng)大的全模態(tài)工具箱。
