背景技術(shù)：

1、本發(fā)明涉及動(dòng)態(tài)處理記錄的音頻內(nèi)容的聲樂伴奏，特別是卡拉ok系統(tǒng)中的動(dòng)態(tài)效果。

2、傳統(tǒng)的“卡拉ok”是一種通常在俱樂部和酒吧提供的互動(dòng)娛樂，人們使用麥克風(fēng)隨著錄制的音樂唱歌。這首音樂通常是一首著名流行歌曲的器樂版本。歌詞通常與移動(dòng)符號(hào)、變色或音樂視頻圖像一起顯示在視頻屏幕上，以引導(dǎo)演唱者。硬件和一些軟件(例如智能手機(jī)應(yīng)用)系統(tǒng)包括用戶聲音的數(shù)字信號(hào)處理等功能，例如添加混響并將其聲音調(diào)諧到指定的音調(diào)。

3、卡拉ok系統(tǒng)通常配有帶麥克風(fēng)、放大器和揚(yáng)聲器的電聲系統(tǒng)，以增強(qiáng)演唱者的聲音。該卡拉ok設(shè)備播放主唱音軌缺失的特殊音樂音軌。音樂本身融合了在音樂制作過程中應(yīng)用的許多音頻效果。因此，對(duì)于卡拉ok演唱者的聲音，電聲系統(tǒng)也應(yīng)該應(yīng)用一些音頻效果，使音樂和卡拉ok的的貢獻(xiàn)在風(fēng)格上非常契合。

4、因此，卡拉ok設(shè)備通常提供各種音頻效果，可以選擇這些效果來豐富演唱者的聲音。例如，用于強(qiáng)調(diào)相關(guān)頻率的均衡器、用于減少音量變化的壓縮器、具有可調(diào)混響時(shí)間的混響效果、將聲音的衰減回聲添加到輸出信號(hào)的延遲、創(chuàng)建多個(gè)演唱者同時(shí)唱歌的副歌效果、為聲音增加明亮感的激勵(lì)器、音高變換或和聲器效果等等。

5、車載卡拉ok，有時(shí)也被稱為“拼車卡拉ok(carpool?karaoke)”(指詹姆斯·科登主演的電視節(jié)目)，是一種可以由乘客或車輛駕駛員表演的卡拉ok。商用產(chǎn)品可支持多種功能，例如捕獲車內(nèi)多名乘客的聲音，減少車輛揚(yáng)聲器的反饋聲音。

技術(shù)實(shí)現(xiàn)思路

1、傳統(tǒng)的卡拉ok系統(tǒng)需要調(diào)整不同類型歌曲的個(gè)人效果。例如，可能與節(jié)奏較快的歌曲的最佳混響時(shí)間相比，慢速歌曲的混響時(shí)間可能更長(zhǎng)。同樣，最好將兩個(gè)連續(xù)回聲之間的延遲時(shí)間與歌曲的節(jié)奏相匹配。根據(jù)歌曲的樂器，可能需要調(diào)整均衡器以將聲音嵌入混音中。民謠或情感歌曲可能需要音量變化，而在充滿活力的歌曲中，聲音的動(dòng)態(tài)應(yīng)該被壓縮。此外，這些潛在的調(diào)整也可以在與歌曲的當(dāng)前部分相關(guān)的歌曲內(nèi)變化，與主歌相比，副歌可能會(huì)選擇不同的效果。目前可用的卡拉ok系統(tǒng)需要手動(dòng)調(diào)整這些效果。希望有一個(gè)更自動(dòng)化的系統(tǒng)來幫助自動(dòng)調(diào)整相關(guān)參數(shù)，而不一定需要任何手動(dòng)調(diào)整。

2、車輛環(huán)境給卡拉ok系統(tǒng)帶來了許多挑戰(zhàn)，包括相對(duì)“沉寂”的聲學(xué)環(huán)境，以及道路噪聲和其它環(huán)境噪聲的存在，這些噪聲的音量很大，并且會(huì)因例如速度和道路類型而變化，還可能包括警報(bào)器和建筑打樁機(jī)等外部噪聲。非常一般地，本文檔中描述的一個(gè)或更多個(gè)系統(tǒng)和方法根據(jù)所唱音頻的特征和/或用戶唱歌的聲學(xué)環(huán)境動(dòng)態(tài)地改變用戶(即演唱者)輸入的處理特征。系統(tǒng)處理的優(yōu)點(diǎn)可以包括改進(jìn)的用戶體驗(yàn)(例如，使用該系統(tǒng)更有趣或更吸引人)和/或更高質(zhì)量的音頻輸出(例如，組合呈現(xiàn)的音頻和捕獲的音頻的結(jié)果具有更理想和/或令人愉悅的特征)。

3、在本文檔中，“卡拉ok”一詞應(yīng)廣義地解釋為包括任何情況，在這些情況下，系統(tǒng)被配置為向一個(gè)或更多個(gè)用戶呈現(xiàn)聲學(xué)信號(hào)，并在呈現(xiàn)聲學(xué)信號(hào)期間捕獲一個(gè)或更多個(gè)用戶所產(chǎn)生音頻。出于討論的目的，下面可以將呈現(xiàn)的聲學(xué)信號(hào)稱為“歌曲”，而不意味著音頻信號(hào)包括演唱或口語，也不限定其為伴唱音樂；并且捕獲的音頻(或其處理版本)可以稱為用戶的“人聲”，而不意味著捕獲的音頻必然包括歌詞或其它口語或唱詞。最后，不要求向卡拉ok系統(tǒng)的用戶呈現(xiàn)歌曲等的文本，也不要求捕獲的音頻必須與歌曲一起呈現(xiàn)給用戶。

4、在一個(gè)方面，計(jì)算機(jī)實(shí)現(xiàn)的卡拉ok系統(tǒng)根據(jù)歌曲的屬性調(diào)整相關(guān)設(shè)置，例如通過分析歌曲的音頻信號(hào)自動(dòng)確定。

5、在一些實(shí)施例中，卡拉ok系統(tǒng)被部署用于車輛中，例如，供車輛的駕駛員和/或一名或更多名乘客使用。例如，可以使用多個(gè)麥克風(fēng)作為分布式揚(yáng)聲器專用麥克風(fēng)，或者將多個(gè)麥克風(fēng)在陣列配置中近距離使用，以處理波束形成器聚焦到乘客說話的特定方向。使用多個(gè)麥克風(fēng)，該系統(tǒng)還可以檢測(cè)有參加卡拉ok的演唱者數(shù)量，以及他們坐在車?yán)锏淖?。然后，系統(tǒng)可能會(huì)為各個(gè)貢獻(xiàn)者分配不同的音頻效果(例如自動(dòng)增益控制(agc))，以確保各個(gè)演唱貢獻(xiàn)者的一致水平。例如，后座上的演唱者可能會(huì)被分配背景演唱者的典型效果。也許也可以應(yīng)用一些音高變換，例如八度音階的轉(zhuǎn)置。

6、在一些實(shí)施例中，根據(jù)基本屬性(例如速度、音量動(dòng)態(tài)、音樂風(fēng)格、流派、歌曲結(jié)構(gòu)等)分析所選歌曲。根據(jù)這些屬性，選擇并配置一組效果。在一些實(shí)施例中，這些信息中的一些可能已經(jīng)可以從數(shù)據(jù)庫中獲得(例如，音高頻率、節(jié)奏和復(fù)調(diào)可以從midi文件中獲得，關(guān)于流派的信息可以從數(shù)據(jù)庫獲得)，因此不需要自動(dòng)提取。在一些實(shí)施例中，可以通過手動(dòng)調(diào)諧來準(zhǔn)備歌曲的預(yù)先定義音頻效果集，例如，用戶手動(dòng)調(diào)諧最喜歡的歌曲，從而確保最佳(即最理想)的音頻效果集。

7、在一些實(shí)施例中，音頻效果可以在一首歌曲內(nèi)改變。例如，副歌和主歌可能使用不同的效果設(shè)置。例如，基于副歌的重復(fù)，副歌與主歌的確定可以自動(dòng)確定。作為另一個(gè)實(shí)例，與歌曲期間相比，可以在歌曲結(jié)束時(shí)應(yīng)用不同的效果，例如在人聲中斷結(jié)束時(shí)引入延遲效果，而延遲效果不會(huì)持續(xù)有效，因?yàn)檫@可能會(huì)對(duì)演唱者造成干擾。

8、在一些實(shí)施例中，可以根據(jù)背景噪聲來調(diào)整音頻效果。例如，在高噪聲情況下，可以應(yīng)用更高的播放增益和更少的混響?？梢允褂门c卡拉ok相同的麥克風(fēng)估計(jì)背景噪聲。此類音頻效果能夠尤其適用于車載應(yīng)用，其中背景噪聲可能較大且隨時(shí)間變化。在一些實(shí)施例中，麥克風(fēng)和揚(yáng)聲器不一定專用于卡拉ok，例如，集成到音頻娛樂系統(tǒng)、免提電話系統(tǒng)和/或聲音助理系統(tǒng)中。

9、在一些實(shí)施例中，卡拉ok系統(tǒng)被配置為與其它位置的其它卡拉ok系統(tǒng)交互，從而形成分布式卡拉ok系統(tǒng)，使用戶們能夠從多個(gè)位置參與。對(duì)于車載卡拉ok系統(tǒng)，車輛通過移動(dòng)通信系統(tǒng)連接，多輛車中的駕駛員和/或乘客可以為一首歌提供人聲，例如，通過系統(tǒng)同步或以其它方式協(xié)調(diào)歌曲和人聲的播放。演唱者的聲音不僅在本地車輛中播放，還會(huì)傳輸?shù)狡渌囕v，與遠(yuǎn)端的聲音一起添加到卡拉ok音軌中。兩輛車的音頻播放可以盡可能同步，混響效果中考慮了同步中的剩余失配(這可能是不可避免的)。來自遠(yuǎn)端汽車的聲音可以用不同的音頻效果進(jìn)行處理，將其作為副歌放在環(huán)繞揚(yáng)聲器上。例如，兩輛車a和b中的音樂同時(shí)開始并同步。然后，來自汽車a的演唱者聲音被饋送到遠(yuǎn)端汽車b的效果部分，例如，在其中產(chǎn)生環(huán)繞效果、混響等。汽車b中的演唱者聲音也將被傳輸?shù)狡嘺。

10、在一個(gè)方面，通常，一種用于對(duì)用戶輸入進(jìn)行動(dòng)態(tài)音頻修改以與源歌曲的播放一起呈現(xiàn)的方法包括處理麥克風(fēng)信號(hào)以產(chǎn)生表示用戶輸入的音頻聲音信號(hào)。

11、基于源歌曲的特征確定一種或更多種音頻修改方法的參數(shù)值，并使用根據(jù)所確定的參數(shù)值配置的音頻修改方法來處理音頻聲音信號(hào)，以產(chǎn)生增強(qiáng)的人聲信號(hào)。這種修改的優(yōu)點(diǎn)是，用戶在更換歌曲時(shí)不必手動(dòng)重新調(diào)整參數(shù)，這在用戶忙于其它任務(wù)(例如駕駛車輛)的情況下可能特別有利。

12、增強(qiáng)的人聲信號(hào)和源歌曲被組合以產(chǎn)生音頻驅(qū)動(dòng)信號(hào)，并且該音頻驅(qū)動(dòng)信號(hào)被提供給用戶進(jìn)行聲學(xué)呈現(xiàn)。

13、在麥克風(fēng)處獲取聲學(xué)信號(hào)以產(chǎn)生麥克風(fēng)信號(hào)。聲學(xué)信號(hào)至少包括用戶的聲音和音頻驅(qū)動(dòng)信號(hào)的聲學(xué)呈現(xiàn)。處理麥克風(fēng)信號(hào)然后可以包括基于利用音頻驅(qū)動(dòng)信號(hào)的參考和源歌曲中的至少一個(gè)的自適應(yīng)來去除音頻驅(qū)動(dòng)信號(hào)中的聲學(xué)呈現(xiàn)。聲學(xué)信號(hào)可以包括環(huán)境噪聲，并且麥克風(fēng)信號(hào)的處理包括降噪。

14、音頻修改方法包括混響、回聲、激勵(lì)和音高修改處理中的一種或更多種。

15、源歌曲的特征包括流派、節(jié)奏、音調(diào)和拍號(hào)中的一個(gè)或更多個(gè)。

16、確定參數(shù)值包括確定在歌曲期間變化的時(shí)變參數(shù)值。這種時(shí)變可能是有利的，因?yàn)楦枨牟煌糠?例如副歌和主歌)可能需要不同的處理。

17、原始人聲信號(hào)和去除人聲的歌曲信號(hào)可以被確定為對(duì)應(yīng)于原始源歌曲，并且將增強(qiáng)的人聲信號(hào)和源歌曲組合包括將增強(qiáng)的人聲信號(hào)和去除人聲的歌曲信號(hào)組合。

18、處理音頻聲音信號(hào)以確定用戶輸入的聲音水平。聲音水平可以表示聲音的存在或不存在，或者可以表示聲音音量或能量。

19、確定聲音信號(hào)在第一時(shí)段期間存在用戶輸入，在第二時(shí)段期間不存在用戶輸入。

20、形成音頻驅(qū)動(dòng)信號(hào)，包括在第一時(shí)段期間組合音頻聲音信號(hào)和去除人聲的歌曲信號(hào)以產(chǎn)生音頻驅(qū)動(dòng)信號(hào)。

21、形成音頻驅(qū)動(dòng)信號(hào)，包括在第二時(shí)段期間組合原始人聲信號(hào)和去除人聲的歌曲信號(hào)以產(chǎn)生音頻驅(qū)動(dòng)信號(hào)。當(dāng)用戶忘記歌詞并開始以較低的水平唱歌時(shí)，這種原始人聲的呈現(xiàn)可能是有利的。

22、形成音頻驅(qū)動(dòng)信號(hào)還包括在第一間隔期間，以基于所確定的聲音水平的衰減水平(例如，基于聲音水平的歷史或時(shí)間濾波)組合原始人聲信號(hào)。當(dāng)用戶可能不確定歌詞，并開始以較低的水平唱歌時(shí)，這種衰減的原始人聲呈現(xiàn)可能是有利的。

23、確定原始人聲信號(hào)和去除人聲的歌曲信號(hào)包括在播放源歌曲之前接收所述人聲信號(hào)和所述去除人聲的信號(hào)。

24、確定原始人聲信號(hào)和去除人聲的歌曲信號(hào)包括處理原始源歌曲，以對(duì)原始源歌曲的人聲分量和去除人聲的分量進(jìn)行混音。

25、在麥克風(fēng)信號(hào)中檢測(cè)到聲音，并且在麥克風(fēng)信號(hào)中未檢測(cè)到聲音的時(shí)段內(nèi)，提供與原始源歌曲相對(duì)應(yīng)的信號(hào)，包括提供至少一些原始人聲信號(hào)，用于向用戶進(jìn)行聲學(xué)呈現(xiàn)。

26、在第一車輛的車艙內(nèi)采集麥克風(fēng)信號(hào)，并在第一車輛的車艙內(nèi)呈現(xiàn)音頻驅(qū)動(dòng)信號(hào)。

27、從第二車輛接收遠(yuǎn)程人聲信號(hào)，并將增強(qiáng)的人聲信號(hào)、遠(yuǎn)程人聲信號(hào)和源歌曲組合以產(chǎn)生音頻驅(qū)動(dòng)信號(hào)。

28、增強(qiáng)的人聲信號(hào)被提供用于在第二車輛中呈現(xiàn)。

29、歌曲在第一車輛和第二車輛中的呈現(xiàn)是同步的。

30、在向用戶呈現(xiàn)歌曲期間，在第一車輛處基于源歌曲的特征確定一種或更多種音頻修改方法的參數(shù)值。

31、在向用戶呈現(xiàn)歌曲之前，基于源歌曲的特征確定一種或更多種音頻修改方法的參數(shù)值。

32、在另一個(gè)方面，一般來說，非暫態(tài)機(jī)器可讀介質(zhì)上存儲(chǔ)有指令。當(dāng)處理器執(zhí)行這些指令時(shí)，會(huì)使處理器執(zhí)行上述任何一種方法的所有步驟。

33、在另一個(gè)方面，一般來說，音頻處理系統(tǒng)包括處理器，該處理器被配置為執(zhí)行上述方法中的任何一種的所有步驟。音頻處理系統(tǒng)可以包括車載音頻處理系統(tǒng)。音頻處理系統(tǒng)可以集成到音頻娛樂系統(tǒng)、免提電話系統(tǒng)或聲音助理系統(tǒng)中的至少一個(gè)。

34、本發(fā)明的其它特征和優(yōu)點(diǎn)從以下描述和權(quán)利要求中顯而易見。