選擇性的空間音頻通信的制作方法

專利名稱：選擇性的空間音頻通信的制作方法
選擇性的空間音頻通信背景技術(shù)
電子裝置的用戶越來越期望他們與其他人通信的能力更加靈活。例如，移動(dòng)電話用途可以包括輸入電話號碼，激活“撥號”功能，以及等待聽眾接電話以開始會話。隨著移動(dòng)裝置技術(shù)的進(jìn)步，許多用戶可以使用他們各自裝置上的攝像機(jī)以進(jìn)行具有裝置視頻的會話，隨著會話的進(jìn)行向每個(gè)參與者提供其他參與者的視頻流。如果任一參與者(或者參與者雙方)處于正在說話的一群人中，則該群中所有參與者的聲音和圖像都可以被傳送給該會話另一端的相應(yīng)聽眾。還可能包括經(jīng)由三方呼叫(例如，撥打第二個(gè)電話號碼，并且等待第三參與者接聽)的另一個(gè)參與者(或者參與者群)。作為另一個(gè)示例，會議呼叫可被用來包括經(jīng)由每個(gè)參與者撥入的若干參與者。如果多個(gè)參與者同時(shí)開始說話，則對于聽眾來說，可能難以確定誰正在說話，以及正在說什么。發(fā)明內(nèi)容
依照一個(gè)概括的方面，一種系統(tǒng)可以包括音頻數(shù)據(jù)獲取部件，其獲得與多個(gè)發(fā)聲來源相關(guān)的音頻數(shù)據(jù)的第一集合，音頻數(shù)據(jù)的第一集合指向第一參與者實(shí)體。該系統(tǒng)還可以包括音頻來源確定部件，其確定與多個(gè)發(fā)聲來源中的第一個(gè)相關(guān)的第一發(fā)聲實(shí)體。該系統(tǒng)還可以包括焦點(diǎn)確定部件，其經(jīng)由裝置處理器，從第一參與者實(shí)體獲得第一聽眾焦點(diǎn)指示，其指示在第一發(fā)聲實(shí)體上的第一聽眾焦點(diǎn)。該系統(tǒng)還可以包括空間關(guān)系部件，其確定第一參與者實(shí)體和第一發(fā)聲實(shí)體之間的空間位置關(guān)系。該系統(tǒng)還可以包括音頻增強(qiáng)部件，其對音頻數(shù)據(jù)的第一集合啟動(dòng)第一濾波操作，以增強(qiáng)與第一發(fā)聲實(shí)體相關(guān)的音頻數(shù)據(jù)的第一集合的第一部分，相對于音頻數(shù)據(jù)的第一集合的另一部分增強(qiáng)第一部分，所述另一部分與除了多個(gè)發(fā)聲來源的第一個(gè)之外的多個(gè)發(fā)聲來源相關(guān)。該系統(tǒng)還可以包括空間化 (spatialization)部件,其基于第一參與者實(shí)體和第一發(fā)聲實(shí)體之間的空間位置關(guān)系，啟動(dòng)基于第一參與者位置收聽感覺(perspective)的、該第一部分的流的空間化。該系統(tǒng)還可以包括空間音頻傳輸部件，其基于第一濾波操作和空間化，啟動(dòng)音頻數(shù)據(jù)的空間流至第一參與者實(shí)體的傳輸。
依照另一方面，有形地包含在計(jì)算機(jī)可讀存儲媒介上的計(jì)算機(jī)程序產(chǎn)品可以包括可執(zhí)行代碼，可執(zhí)行代碼可以促使至少一個(gè)數(shù)據(jù)處理設(shè)備從第一參與者實(shí)體獲得第一參與者焦點(diǎn)指示，其指示在第二參與者實(shí)體上的第一參與者實(shí)體的第一焦點(diǎn)。此外，至少一個(gè)數(shù)據(jù)處理設(shè)備可以基于第一參與者焦點(diǎn)指示，經(jīng)由裝置處理器，獲得與作為第一發(fā)聲來源的第一參與者實(shí)體相關(guān)的音頻數(shù)據(jù)的集合的第一部分，該第一部分指向第二參與者實(shí)體。此外，至少一個(gè)數(shù)據(jù)處理設(shè)備可以確定第一參與者實(shí)體和第二參與者實(shí)體之間的空間位置關(guān)系。此外，至少一個(gè)數(shù)據(jù)處理設(shè)備可以經(jīng)由裝置處理器獲得與作為第二發(fā)聲來源的第三參與者實(shí)體相關(guān)的音頻數(shù)據(jù)的集合的第二部分，第二部分指向第二參與者實(shí)體。此外，至少一個(gè)數(shù)據(jù)處理設(shè)備可以對音頻數(shù)據(jù)的集合啟動(dòng)第一濾波操作，以增強(qiáng)第一部分，所述第一部分相對于音頻數(shù)據(jù)的集合中與除了第一發(fā)聲來源之外的一個(gè)或多個(gè)發(fā)聲來源相關(guān)的另一部 分而被增強(qiáng)，另一部分包括第二部分。此外，至少一個(gè)數(shù)據(jù)處理設(shè)備可以基于第一參與者實(shí)體和第二參與者實(shí)體之間的空間位置關(guān)系，啟動(dòng)基于第二參與者位置收聽感覺的、第一部分的空間化。此外，至少一個(gè)數(shù)據(jù)處理設(shè)備可以基于第一濾波操作和空間化，啟動(dòng)音頻數(shù)據(jù)的第一空間流至第二參與者實(shí)體的傳輸。
依照另一方面，可以從第一參與者實(shí)體獲得第一參與者焦點(diǎn)指示，其指示在第二參與者實(shí)體上的第一參與者實(shí)體的第一焦點(diǎn)。基于第一參與者焦點(diǎn)指示，可以經(jīng)由裝置處理器獲得與作為第一發(fā)聲來源的第一參與者實(shí)體相關(guān)的音頻數(shù)據(jù)集合的第一部分，第一部分指向第二參與者實(shí)體?？梢源_定第一參與者實(shí)體和第二參與者實(shí)體之間的第一空間位置關(guān)系。可以從第一參與者實(shí)體獲得第二參與者焦點(diǎn)指示，其指示在第三參與者實(shí)體上的第一參與者實(shí)體的第二焦點(diǎn)。可以獲得與作為第一發(fā)聲來源的第一參與者實(shí)體相關(guān)的音頻數(shù)據(jù)集合的第二部分，第二部分指向第三參與者實(shí)體?？梢詫σ纛l數(shù)據(jù)的集合啟動(dòng)第一濾波操作，以增強(qiáng)第一部分，所述第一部分相對于音頻數(shù)據(jù)的集合中與包括除了第一發(fā)聲來源之外的至少一個(gè)發(fā)聲來源的發(fā)聲來源相關(guān)的第一其他部分而被增強(qiáng)，第一其他部分包括第二部分?；诘谝粎⑴c者實(shí)體和第二參與者實(shí)體之間的空間位置關(guān)系，可以啟動(dòng)基于第二參與者位置收聽感覺的、第一部分的第一空間化?；诘谝粸V波操作和空間化，可以啟動(dòng)音頻數(shù)據(jù)的第一空間流至第二參與者實(shí)體的傳輸?？梢詫σ纛l數(shù)據(jù)的集合啟動(dòng)第二濾波操作，以增強(qiáng)第二部分，所述第二部分相對于音頻數(shù)據(jù)的集合中與包括除了第一發(fā)聲來源之外的至少一個(gè)發(fā)聲來源的發(fā)聲來源相關(guān)的第二其他部分而被增強(qiáng)，第二其他部分包括第一部分?；诘谝粎⑴c者實(shí)體和第三參與者實(shí)體之間的空間位置關(guān)系，可以啟動(dòng)基于第三參與者位置收聽感覺的、第二部分的第二空間化?；诘诙V波操作和第二空間化，可以啟動(dòng)音頻數(shù)據(jù)的第二空間流至第三參與者實(shí)體的傳輸。
提供本發(fā)明內(nèi)容而以簡化形式介紹精選的觀點(diǎn)，在以下的具體實(shí)施方式
中將進(jìn)一步描述這些觀點(diǎn)。本發(fā)明內(nèi)容沒有打算標(biāo)識所要求保護(hù)的主題的主要特征或基本特征，也沒有打算用來限制所要求保護(hù)的主題的范圍。在以下的附圖和說明書中將闡述一個(gè)或多個(gè)實(shí)現(xiàn)方式的細(xì)節(jié)。根據(jù)說明書和附圖，以及根據(jù)權(quán)利要求，將會明了其他特征。


圖1是用于選擇性的空間音頻通信的示例系統(tǒng)的方框圖。
圖2是圖示圖1的系統(tǒng)的示例性操作的流程圖。
圖3是圖示圖1的系統(tǒng)的示例性操作的流程圖。
圖4是圖示圖1的系統(tǒng)的示例性操作的流程圖。
圖5描 述了與圖1的系統(tǒng)的示例交互。
圖6描述了與圖1的系統(tǒng)的示例交互。
具體實(shí)施方式
許多會話可能發(fā)生在房間或者局部空間中，其中，這些參與者也許能實(shí)際地看到其他每個(gè)參與者，并且還可能會基于傾聽從特定的相應(yīng)三維(3-D)方向?qū)嶋H發(fā)出的他們的說話聲(或者其他聲音)，而感知其余參與者相對于相應(yīng)聽眾的3-D位置的位置。例如，如果第一參與者正向前看，直接在他/她身后的第二參與者越過第一參與者的左肩說話，那么， 第一參與者可以感知第二參與者的位置，基于第一參與者雙耳所接收的且由第一參與者的大腦處理的音頻信號，以指示第二參與者直接在他/她身后。
例如，然后，第一參與者可以轉(zhuǎn)動(dòng)他/她的頭部和/或身體以面向第二參與者的方向，以與第二參與者進(jìn)行集中討論(focused discussion)。隨著第一參與者轉(zhuǎn)動(dòng)他/她的頭部和/或身體，第一參與者和第二參與者的方向感覺可以動(dòng)態(tài)地改變，這是因?yàn)殡S著轉(zhuǎn)動(dòng)的動(dòng)作，第一參與者的雙耳以動(dòng)態(tài)的不同的感覺接收來自第二參與者的聲音。例如，聽眾感覺可以從“越過左肩”動(dòng)態(tài)地改變?yōu)樯晕⑾蜃?，在第一參與者前面，因?yàn)榈谝粎⑴c者的雙耳是對應(yīng)于第一參與者的頭部/身體朝向第二參與者的運(yùn)動(dòng)而被定位的。例如，第一參與者的這種動(dòng)態(tài)運(yùn)動(dòng)可以示意第一參與者要以更集中的方式與第二參與者說話的愿望。
依照本文論述的示例性實(shí)施例，電子裝置的用戶可以發(fā)送和接收空間音頻數(shù)據(jù)。 空間音頻數(shù)據(jù)可以與以下信息一起傳送給聽眾，該信息指示聽眾的與位置有關(guān)的聽眾感覺，該位置與空間音頻數(shù)據(jù)的發(fā)聲發(fā)送者來源相關(guān)，以便聽眾(們)可以感覺到空間音頻數(shù)據(jù)是從發(fā)聲發(fā)送者發(fā)出的，該發(fā)聲發(fā)送者相對于相應(yīng)的聽眾被定位在與空間音頻數(shù)據(jù)的發(fā)聲發(fā)送者來源相關(guān)的位置。例如，如果Joe Smith與一個(gè)位置相關(guān),該位置處于與Ann Smith 相關(guān)的位置的正后方5英尺處,則Ann Smith可以接收來自Joe Smith的空間音頻數(shù)據(jù),其感覺指示Joe Smith在聽眾Ann Smith正后方5英尺處。同樣,如果Tim Smith也包含于會話中，但是坐在隔壁房間中，那么Tim Smith可以接收來自Joe Smith的空間音頻,其感覺指示Joe Smith位于聽眾Tim Smith的隔壁房間。例如，由Tim接收的空間音頻數(shù)據(jù)可以指示導(dǎo)航的感覺，以便Tim可以導(dǎo)航不同的方向(例如，繞著墻壁，上/下樓梯)，以到達(dá)與 Joe Smith相關(guān)的位置。例如，空間音頻數(shù)據(jù)可以在不同方向上提供距離的感覺，以便Tim 可以在空間音頻所感覺出的方向上進(jìn)行導(dǎo)航，以到達(dá)Joe的相關(guān)的位置。
依照本文論述的示例性實(shí)施例，電子裝置的用戶可以發(fā)送和接收空間音頻數(shù)據(jù)， 基于會話中的參與者的一個(gè)或多個(gè)選擇?？梢源_定參與者之間的位置關(guān)系，并且可以濾波及增強(qiáng)空間音頻數(shù)據(jù)，以提供聽眾感覺由各自的聽眾所接收的空間音頻數(shù)據(jù)是從與空間音頻數(shù)據(jù)的各自的發(fā)聲發(fā)送者相關(guān)的位置發(fā)出的。
依照本文論 述的示例性實(shí)施例，對會話中的參與者的選擇可以是基于從各個(gè)參與者(例如，聽眾和/或發(fā)送者)接收的3-D音頻輸入和/或觸覺反饋。例如，第一參與者可以將第一參與者的頭部的方位更改為朝著與第二實(shí)體相關(guān)的位置移動(dòng)的方向，以指示選擇第二實(shí)體作為第二參與者。例如，第一參與者可以說出與第二實(shí)體相關(guān)的名字或者標(biāo)簽，以指示選擇第二實(shí)體作為第二參與者。例如，第一參與者可以激活圖標(biāo)(例如，經(jīng)由菜單或者顯示圖)，以指示選擇第二實(shí)體作為第二參與者。
依照本文論述的示例性實(shí)施例，可以“空間化”音頻數(shù)據(jù)，以包括提供與參與者實(shí)體之間的空間位置關(guān)系有關(guān)的參與者位置收聽感覺的信息。例如，可以通過使用與頭部有關(guān)的傳遞函數(shù)實(shí)現(xiàn)音頻數(shù)據(jù)流的空間化，如同本文將進(jìn)一步論述的。例如，音頻數(shù)據(jù)流的空間化可以包括基于參與者實(shí)體之間的空間位置關(guān)系，確定立體聲格式化的音頻數(shù)據(jù)。
在此，“立體聲”格式涉及音頻數(shù)據(jù)的格式化，其為聽眾提供從與該聽眾有關(guān)的不同方向、或者從與該聽眾有關(guān)的不同位置發(fā)出的聲音的感覺。依照一個(gè)示例性實(shí)施例，該格式化可以基于模仿進(jìn)入聽眾左耳或右耳的聲音的音頻感覺的技術(shù)，這種感覺基于從遠(yuǎn)方或附近發(fā)出的聲音、或者從相對于該聽眾的角度(例如，在用戶的上面、后面、下面、前面、或者向用戶的右邊或左邊)發(fā)出的聲音。例如，當(dāng)模仿從相對于聽眾較遠(yuǎn)的距離發(fā)出的聲音，或者模仿描述位于遠(yuǎn)離聽眾的距離的實(shí)體的聲音時(shí)，可以基本上靜音(mute)該聲音。依照一個(gè)示例性實(shí)施例，該格式化可以基于與音頻數(shù)據(jù)相關(guān)的調(diào)制技術(shù)。
依照本文論述的示例性實(shí)施例，濾波及增強(qiáng)空間音頻數(shù)據(jù)可以包括確定經(jīng)濾波和增強(qiáng)的空間音頻數(shù)據(jù)，其可以為各自的聽眾提供“群會話”感覺，基于相比該空間音頻中與其他參與者相關(guān)的另一部分用更高的清晰度(對于所選擇的聽眾而言)增強(qiáng)與所選擇的參與者相關(guān)的空間音頻的一部分。此外，可以混合從多個(gè)參與者接收的空間音頻數(shù)據(jù)，以提供與期望的參與者有關(guān)的“群會話”效應(yīng)。因此，所選擇的聽眾可以在會話中感覺出多個(gè)參與者的“雞尾酒會效應(yīng)”。例如，多個(gè)參與者可以實(shí)際位于公共休息室，或者可以實(shí)際位于不同的各自的地理位置。
依照本文論述的示例性實(shí)施例，基于實(shí)際的物理位置或者基于與各參與者相關(guān)的其他位置，可以確定參與者之間的位置關(guān)系。
依照本文論述的示例性實(shí)施例，可以由一個(gè)或多個(gè)其他參與者選擇虛擬參與者。 例如，虛擬參與者可以位于與其余參與者不同的物理位置，或者虛擬參與者可以與虛擬化的、計(jì)算機(jī)化的實(shí)體(例如，國際商用機(jī)器公司(IBM)的計(jì)算機(jī)化的實(shí)體“WATSON”)相關(guān)。例如，虛擬參與者可以與音頻數(shù)據(jù)相關(guān)，該音頻數(shù)據(jù)被先前記錄和存儲以在另一個(gè)參與者請求時(shí)作為空間音頻流而供傳輸或收聽。例如，先前記錄的音頻數(shù)據(jù)可以存儲在服務(wù)器上，或者存儲在與請求者相關(guān)的用戶裝置上。
因此，基于各參與者的手勢/運(yùn)動(dòng)/音頻輸入，可以簡單且流暢地啟動(dòng)空間音頻會話，以識別會話中的其他期望的參與者。如本文將進(jìn)一步論述的，圖1是用于提供選擇性的空間音頻通信的系統(tǒng)100的結(jié)構(gòu)圖。如圖1所示，系統(tǒng)100可以包括選擇性的空間音頻通信系統(tǒng)102，其包括音頻數(shù)據(jù)獲取部件104，音頻數(shù)據(jù)獲取部件104可以獲得與多個(gè)發(fā)聲來源108相關(guān)的音頻數(shù)據(jù)106的第一集合，音頻數(shù)據(jù)106的第一集合指向第一參與者實(shí)體110。例如，音頻數(shù)據(jù)106的第一集合可以包括多個(gè)發(fā)聲來源108之間的會話，并且指向(至少)第一參與者實(shí)體110。
例如，音頻數(shù)據(jù)可以包括與人表達(dá)短語相關(guān)的音頻信號，短語可以包括一個(gè)或多個(gè)詞。例如，音頻數(shù)據(jù)可以包括與人表達(dá)字母表的字母(例如，人拼寫一個(gè)或多個(gè)詞)相關(guān)的音頻信號。例如，音頻數(shù)據(jù)可以包括由處理與表達(dá)相關(guān)的音頻信號產(chǎn)生的音頻特征數(shù)據(jù)，例如從模擬信號到數(shù)值數(shù)字形式的處理，其還可被壓縮，以供存儲或者網(wǎng)絡(luò)上更輕便的傳輸。 例如，音頻數(shù)據(jù)可以包括由多個(gè)說話者和/或其他聲音產(chǎn)生的音頻信號。例如，音頻數(shù)據(jù)可以包括與一個(gè)或多個(gè)會話相關(guān)的音頻信號。
依照一個(gè)示例性實(shí)施例，選擇性的空間音頻通信系統(tǒng)102可以包括可執(zhí)行指令， 其被存儲在計(jì)算機(jī)可讀存儲媒介上，如以下所述。依照一個(gè)示例性實(shí)施例，計(jì)算機(jī)可讀存儲媒介可以包括任意數(shù)量的存儲裝置，以及任意數(shù)量的存儲介質(zhì)類型，其包括分布式裝置。
例如，實(shí)體儲存庫112可以包括一個(gè)或多個(gè)數(shù)據(jù)庫，并且可以經(jīng)由數(shù)據(jù)庫接口部件114進(jìn)行訪問。數(shù)據(jù)處理領(lǐng)域的普通技術(shù)人員將會理解存在許多用于存儲本文論述的儲存庫信息的技術(shù)，例如各種類型的數(shù)據(jù)庫結(jié)構(gòu)(例如，SQL服務(wù)器)以及非數(shù)據(jù)庫結(jié)構(gòu)。
依照一個(gè)示例性實(shí)施例，選擇性的空間音頻通信系統(tǒng)102可以包括存儲器116，其可以存儲音頻數(shù)據(jù)106的第一集合。在此，“存儲器”可以包括被配置為存儲數(shù)據(jù)和/或指令的單個(gè)存儲裝置或者多個(gè)存儲裝置。此外，存儲器116可以跨接多個(gè)分布式存儲裝置。
依照一個(gè)示例性實(shí)施例，用戶接口部件118可以管理用戶120和選擇性的空間音頻通信系統(tǒng)102之間的通信。用戶120可以與接收裝置122相關(guān)，接收裝置122可以與顯示器124及其他輸入/輸出裝置相關(guān)。例如顯示器124可以被配置為經(jīng)由內(nèi)部裝置總線通信或者經(jīng)由至少一個(gè)網(wǎng)絡(luò)連接與接收裝置122進(jìn)行通信。
依照一個(gè)示例性實(shí)施例，選擇性的空間音頻通信系統(tǒng)102可以包括網(wǎng)絡(luò)通信部件 126，其可以管理選擇性的空間音頻通信系統(tǒng)102和其他實(shí)體之間的網(wǎng)絡(luò)通信，所述其他實(shí)體可以經(jīng)由至少一個(gè)網(wǎng)絡(luò)128與選擇性的空間音頻通信系統(tǒng)102進(jìn)行通信。例如，至少一個(gè)網(wǎng)絡(luò)128可以包括因特網(wǎng)、至少一個(gè)無線網(wǎng)絡(luò)或者至少一個(gè)有線網(wǎng)絡(luò)中的至少一個(gè)。例如，至少一個(gè)網(wǎng)絡(luò)128可以包括蜂窩網(wǎng)絡(luò)、無線電網(wǎng)絡(luò)、或者可以支持用于選擇性的空間音頻通信系統(tǒng)102的數(shù)據(jù)傳輸?shù)娜魏晤愋偷木W(wǎng)絡(luò)。例如，網(wǎng)絡(luò)通信部件126可以管理選擇性的空間音頻通信系統(tǒng)102和接收裝置122之間的網(wǎng)絡(luò)通信。例如，網(wǎng)絡(luò)通信部件126可以管理用戶接口部件118和接收裝置122之間的網(wǎng)絡(luò)通信。
如圖1b所示，用戶120可以包括多個(gè)用戶120a，120b，120c，......，120x。每個(gè)用戶120還可以與各自的接收裝置122和/或顯示器124相關(guān)。因此，用戶120a，120b， 120c，……，120x的每一個(gè)可以包括發(fā)聲來源108和第一參與者實(shí)體110的一個(gè)或多個(gè)。
音頻來源確定部件130可以確定與多個(gè)發(fā)聲來源108的第一個(gè)相關(guān)的第一發(fā)聲實(shí)體132。例如，可以基于用戶標(biāo)識確定發(fā)聲實(shí)體。例如，可以基于與發(fā)聲實(shí)體相關(guān)的實(shí)際或者虛擬位置來確定發(fā)聲實(shí)體。
焦點(diǎn)確定部件134可以經(jīng)由裝置處理器136從第一參與者實(shí)體110獲得第一聽眾焦點(diǎn)指示138，其指示在第一發(fā)聲實(shí)體132上的第一聽眾焦點(diǎn)140。例如，第一參與者實(shí)體 110可以提供選擇指示，其指示在第一發(fā)聲實(shí)體132上的第一聽眾焦點(diǎn)的請求。例如，第一參與者實(shí)體110可以在朝向與第一發(fā)聲實(shí)體132相關(guān)的位置的方向上改變他/她的身體方位。例如，第一參與者實(shí)體110可以發(fā)出與第一發(fā)聲實(shí)體132相關(guān)的名字或者標(biāo)簽。例如, 第一參與者實(shí)體110可以基于激活顯示器和/或菜單上的圖標(biāo)或者其他(多個(gè))圖示符號而提供選擇指示。
在此，“處理器”可以包括單個(gè)處理器或者多個(gè)處理器，被配置為處理與處理系統(tǒng)相關(guān)的指令。因此，處理器可以包括并行和/或以分布式方式處理指令的多個(gè)處理器。盡管在圖1中將裝置處理器136描述為在選擇性的空間音頻通信系統(tǒng)102的外部，但是數(shù) 據(jù)處理領(lǐng)域的普通技術(shù)人員將會理解裝置處理器136可以實(shí)現(xiàn)為單個(gè)部件和/或?qū)崿F(xiàn)為分布式單元，其可位于選擇性的空間音頻通信系統(tǒng)102和/或其元件的任意一個(gè)的內(nèi)部或外部。
依照一個(gè)示例性實(shí)施例，選擇性的空間音頻通信系統(tǒng)102可以直接與接收裝置 122進(jìn)行通信(圖1未示出)，而不用經(jīng)由網(wǎng)絡(luò)128，如圖1所示。例如，選擇性的空間音頻通信系統(tǒng)102可以駐留在一個(gè)或多個(gè)后端服務(wù)器上，或者桌面計(jì)算機(jī)裝置上，或者移動(dòng)裝置上。例如，盡管圖1未示出，但是用戶120可以直接與接收裝置122進(jìn)行交互，接收裝置122 可以托管選擇空間音頻通信系統(tǒng)102的至少一部分、裝置處理器136的至少一部分和顯示器124。依照示例性實(shí)施例，部分的系統(tǒng)100可以操作為多個(gè)裝置上的分布式模塊，或者可以經(jīng)由一個(gè)或多個(gè)網(wǎng)絡(luò)或者連接與其他部分進(jìn)行通信，或者可以被托管在單個(gè)裝置上。
空間關(guān)系部件142可以確定在第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的空間位置關(guān)系144。例如，空間位置關(guān)系144可以包括三維(3-D)空間關(guān)系144 (例如，彼此的左、右，彼此上、下，彼此前、后，彼此附近，彼此遠(yuǎn)離，為導(dǎo)航障礙所分隔)。例如，麥克風(fēng)陣列可被用來確定講話的參與者之間的空間關(guān)系。例如，攝像機(jī)及其他傳感器可以確定與實(shí)際參與實(shí)體相關(guān)的位置屬性。
例如，許多裝置可以包括傳感器，例如加速計(jì)、回轉(zhuǎn)儀和/或磁力計(jì)。例如，加速計(jì)可以提供對直線加速度的測量。例如，回轉(zhuǎn)儀可以提供對旋轉(zhuǎn)加速度的測量。例如，磁力計(jì)可以提供對三個(gè)方向(例如，三軸羅盤)上的磁場的測量。因此，可能的是，基于頭部的當(dāng)前方位、速度和角度，預(yù)測與移動(dòng)中的參與者相關(guān)的、即將到來的頭部的角度(例如，如果該傳感器被包含在附著于與參與者相關(guān)的頭部上的裝置中的話)。
音頻增強(qiáng)部件146可以對音頻數(shù)據(jù)106的第一集合啟動(dòng)第一濾波操作，以增強(qiáng)與第一發(fā)聲實(shí)體132相關(guān)的第一集合音頻數(shù)據(jù)106的第一部分148，相對于音頻數(shù)據(jù)106的第一集合中的另一部分150增強(qiáng)第一部分148，所述另一部分150與除了多個(gè)發(fā)聲來源108 的第一個(gè)之外的多個(gè)發(fā)聲來源108相關(guān)。例如，第一濾波操作可以基本上濾除除了與第一發(fā)聲實(shí)體132相關(guān)的聲音之外的聲音。例如，第一濾波操作可以濾除除了與第一發(fā)聲實(shí)體 132相關(guān)的聲音之外的多個(gè)聲音，以相比第一發(fā)聲實(shí)體132的背景聲音而相對增強(qiáng)與第一發(fā)聲實(shí)體132相關(guān)的聲音。
空間化部件152可以基于第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的空間位置關(guān)系144，啟動(dòng)基于第一參與者位置收聽感覺154的第一部分148的流的空間化。例如， 可以“空間化”第一部分148的流以包括如下信息該信息提供與參與者實(shí)體之間的空間位置關(guān)系有關(guān)的參與者位置收聽感覺。例如，可以經(jīng)由使用與頭部有關(guān)的傳遞函數(shù)實(shí)現(xiàn)第一部分148的流的空間化，如同本文將進(jìn)一步論述的。例如，第一部分148的流的空間化可以包括基于參與者實(shí)體之間的空間位置關(guān)系，確定立體聲格式化的音頻數(shù)據(jù)。
空間音頻傳輸部件156可以基于第一濾波操作和空間化，啟動(dòng)音頻數(shù)據(jù)的空間流 158至第一參與者實(shí)體110的傳輸。
依照一個(gè)示例性實(shí)施例，空·間關(guān)系部件142可以基于相對于與該第一參與者實(shí)體 110相關(guān)的當(dāng)前位置164的當(dāng)前距離160和方向162，確定第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的空間位置關(guān)系144。例如，隨著參與者/實(shí)體的任一個(gè)(或者雙方)移動(dòng)，或者隨著與參與者/實(shí)體的一個(gè)或多個(gè)相關(guān)的位置移動(dòng)，空間位置關(guān)系144可以動(dòng)態(tài)地改變。
依照一個(gè)示例性實(shí)施例，空間關(guān)系部件142可以基于相對于與第一參與者實(shí)體 110相關(guān)的當(dāng)前位置164的當(dāng)前導(dǎo)航距離166和導(dǎo)航方向168，確定第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的空間位置關(guān)系144。例如,如果第一參與者實(shí)體110和第一發(fā)聲實(shí)體132被墻壁、圍墻或者其他導(dǎo)航障礙所分隔，則當(dāng)前導(dǎo)航距離166可以包括導(dǎo)航該導(dǎo)航障礙而包含的距離，并且導(dǎo)航方向168可以包括導(dǎo)航障礙的導(dǎo)航的措施(例如，繞開導(dǎo)航障礙導(dǎo)航的左/右轉(zhuǎn)動(dòng)，用于上或下斜坡或樓梯的上和下方向)。
依照一個(gè)示例性實(shí)施例，空間關(guān)系部件142可以基于相對于第一參與者實(shí)體110 有關(guān)的位置164的動(dòng)態(tài)改變距離160和動(dòng)態(tài)改變方向162，來確定第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的空間位置關(guān)系144。
依照一個(gè)示例性實(shí)施例，空間音頻數(shù)據(jù)流158可以包括與接收從第一發(fā)聲實(shí)體 132發(fā)出的第一部分148的聽眾感覺的提供相關(guān)的信息，其基于第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的空間位置關(guān)系144，包括以下的一個(gè)或多個(gè)聽眾感覺與第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的距離相關(guān)的聽眾感覺，與第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的位置差的方向相關(guān)的聽眾感覺，或者與環(huán)境聲噪音相關(guān)的聽眾感覺，其中環(huán)境聲噪音與靠近第一參與者實(shí)體110或者第一發(fā)聲實(shí)體132的地理環(huán)境中的一個(gè)或多個(gè)對象相關(guān)。
依照一個(gè)示例性實(shí)施例，空間化部件152可以啟動(dòng)第一部分148的流的空間化，基于啟動(dòng)生成空間音頻數(shù)據(jù)流158的一個(gè)或多個(gè)操作。
依照一個(gè)示例性實(shí)施例，空間音頻數(shù)據(jù)流158可以包括與接收從第一發(fā)聲實(shí)體 132發(fā)出的第一部分148的聽眾感覺的提供相關(guān)的信息，基于第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的空間位置關(guān)系144。
依照一個(gè)示例性實(shí)施例，焦點(diǎn)確定部件134可以經(jīng)由裝置處理器136從第一參與者實(shí)體110獲得第一聽眾焦點(diǎn)指示138，基于以下的一個(gè)或多個(gè)與關(guān)聯(lián)于第一發(fā)聲實(shí)體 132的名字相關(guān)的音頻輸入170，指示第一發(fā)聲實(shí)體132的選擇172的選擇指示，與關(guān)聯(lián)于第一參與者實(shí)體110的第一身體部分的位置焦點(diǎn)相關(guān)的焦點(diǎn)174的方向，與關(guān)聯(lián)于第一參與者實(shí)體110的第二身體部分的位置方位176相關(guān)的焦點(diǎn)174的方向，與關(guān)聯(lián)于第一參與者實(shí)體110的第三身體部分的運(yùn)動(dòng)相關(guān)的焦點(diǎn)174的方向，或者與關(guān)聯(lián)于第一參與者實(shí)體 110的用戶裝置的位置焦點(diǎn)相關(guān)的焦點(diǎn)174的方向。例如，第一聽眾焦點(diǎn)指示138可以基于由第一參與者實(shí)體110使用的移動(dòng)電話的位置焦點(diǎn)，指向另一參與者、或者指向表示另一參與者的對象。例如，第一聽眾焦點(diǎn)指示138可以基于第一參與者實(shí)體110的雙眼的位置焦點(diǎn)。例如，第一聽眾焦點(diǎn)指示138可以基于第一參與者實(shí)體110的手勢(例如，指向另一參與者或者表示另一參與者的對象的手指)。例如，第一聽眾焦點(diǎn)指示138可以基于由第一參與者實(shí)體110提到的、與另一參與者相關(guān)的名字或者標(biāo)簽的正常會話(音頻)。
依照一個(gè)示例性實(shí)施例，指示對第一發(fā)聲實(shí)體132的選擇172的選擇指示可以包括以下的一個(gè)或多個(gè)指示對觸摸顯示器上所顯示的圖標(biāo)的選擇的觸摸輸入、基于音頻菜單的音頻選擇、或者基于顯示的菜單上的選擇激活的選擇指示。
依照一個(gè)示例性實(shí)施例，群確定部件178可以確定多個(gè)發(fā)聲來源108。例如，群確定部件178可以確定一群參與者實(shí)體的成員(其任一個(gè)或者所有都可以包括發(fā)聲來源 108)。
依照一個(gè)示例性實(shí)施例，群位置確定部件180可以確定與多個(gè)發(fā)聲來源108的每一個(gè)相關(guān)的空間位置182。
依照一個(gè)示例性實(shí)施例，虛擬參與者確定部件184可以確定包括在多個(gè)發(fā)聲來源 108中的一個(gè)或多個(gè)虛擬參與者186。例如，虛擬參與者186可以包括可位于與其他參與者隔離開的地理場所中的參與實(shí)體。例如，虛擬參與者186可以包括參與實(shí)體，該參與實(shí)體可以在當(dāng)前實(shí)際存在的實(shí)體間的動(dòng)態(tài)會話之前錄制音頻數(shù)據(jù)。例如，虛擬參與者186可以包括可包括計(jì)算機(jī)化的實(shí)體(例如，經(jīng)由人工智能技術(shù))的參與實(shí)體。
依照一個(gè)示例性實(shí)施 例，群位置確定部件180可以確定與一個(gè)或多個(gè)虛擬參與者 186相關(guān)的空間位置182。例如，可以經(jīng)由通過與虛擬參與者186相關(guān)的裝置獲得的全球定位(GPS)坐標(biāo)確定空間位置182。例如，可以通過虛擬參與者186提供空間位置182。例如， 可以由發(fā)請求的參與者提供空間位置182。.
依照一個(gè)示例性實(shí)施例，群位置傳輸部件188可以啟動(dòng)與多個(gè)發(fā)聲來源108的每一個(gè)相關(guān)的空間位置182的一個(gè)或多個(gè)的指示的傳輸。.
依照一個(gè)示例性實(shí)施例，音頻來源確定部件130可以確定與多個(gè)發(fā)聲來源108的第一個(gè)相關(guān)的第一發(fā)聲實(shí)體132，基于以下的一個(gè)或多個(gè)確定多個(gè)發(fā)聲來源108的第一個(gè)的地理位置164，確定與關(guān)聯(lián)于多個(gè)發(fā)聲來源108的第一個(gè)的裝置客戶端相關(guān)的帳號，基于語音識別操作確定多個(gè)發(fā)聲來源108的第一個(gè)的標(biāo)識，基于觸覺輸入識別操作確定多個(gè)發(fā)聲來源108的第一個(gè)的標(biāo)識，從多個(gè)發(fā)聲來源108的一個(gè)或多個(gè)接收多個(gè)發(fā)聲來源108的第一個(gè)的標(biāo)識的指示，或者從第一參與者實(shí)體110接收多個(gè)發(fā)聲來源108的第一個(gè)的標(biāo)識的指示。.
依照一個(gè)示例性實(shí)施例，音頻數(shù)據(jù)獲取部件104可以獲得音頻數(shù)據(jù)106的第一集合，其包括與多個(gè)發(fā)聲來源108相關(guān)的會話音頻數(shù)據(jù)的混合，音頻數(shù)據(jù)106的第一集合至少指向第一參與者實(shí)體110。.
依照一個(gè)示例性實(shí)施例，音頻增強(qiáng)部件146可以對會話音頻數(shù)據(jù)的混合啟動(dòng)第一濾波操作，以增強(qiáng)與第一發(fā)聲實(shí)體132相關(guān)的第一會話，所述第一會話相對于與除了多個(gè)發(fā)聲來源108的第一個(gè)之外的多個(gè)發(fā)聲來源108相關(guān)的另一部分會話音頻數(shù)據(jù)而得到增強(qiáng)。.
依照一個(gè)示例性實(shí)施例，空間化部件152可以基于一個(gè)或多個(gè)與頭部有關(guān)的傳遞函數(shù)190來啟動(dòng)第一部分148的流的空間化。例如，與頭部有關(guān)的傳遞函數(shù)可以基于一個(gè)或多個(gè)數(shù)學(xué)模型，該數(shù)學(xué)模型可以模擬人的頭部的形狀和/或人雙耳的各部分的結(jié)構(gòu)。例如， 數(shù)學(xué)模型可以使用頻移和相移技術(shù)來更改音頻數(shù)據(jù)，以提供關(guān)聯(lián)的聲音是從3-D空間(SP， “空間化的音頻”)的特定點(diǎn)發(fā)出的聽眾感覺。借助于傳感器檢測參與者的頭部運(yùn)動(dòng)(例如， 確定耳朵方位)，可以動(dòng)態(tài)地調(diào)整空間化的音頻，以符合參與者實(shí)體頭部的動(dòng)態(tài)運(yùn)動(dòng)。.
依照一個(gè)示例性實(shí)施例，空間化部件152可以基于生成與第一部分148相關(guān)的立體聲音頻流來啟動(dòng)第一部分148的流的空間化。.
圖2是依照示例性實(shí)施例，圖示圖1的系統(tǒng)的示例性操作的流程圖。在圖2a的示例中，可以獲得與多個(gè)發(fā)聲來源相關(guān)的音頻數(shù)據(jù)的第一集合，音頻數(shù)據(jù)的第一集合指向第一參與者實(shí)體(202)。例如，音頻數(shù)據(jù)獲取部件104可以獲得與多個(gè)發(fā)聲來源108相關(guān)的音頻數(shù)據(jù)106的第一集合，音頻數(shù)據(jù)106的第一集合指向第一參與者實(shí)體110，如上所述。.
可以確定與多個(gè)發(fā)聲來源的第一個(gè)相關(guān)的第一發(fā)聲實(shí)體(204)。例如,音頻來源確定部件130可以確定與多個(gè)發(fā)聲來源108的第一個(gè)相關(guān)的第一發(fā)聲實(shí)體132，如上所述。.
可以從第一參與者實(shí)體獲得指示第一發(fā)聲實(shí)體上的第一聽眾焦點(diǎn)的第一聽眾焦點(diǎn)指示(206)。例如，焦點(diǎn)確定部件134可以經(jīng)由裝置處理器136從第一參與者實(shí)體110獲得第一聽眾焦點(diǎn)指示138，其指示在第一發(fā)聲實(shí)體132上的第一聽眾焦點(diǎn)140，如上所述。.
可以確定第一參與者實(shí)體和第一發(fā)聲實(shí)體之間的空間位置關(guān)系(208)。例如，空間關(guān)系部件142可以確定第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的空間位置關(guān)系144， 如上所述。.
可以對音頻數(shù)據(jù)的第一集合啟動(dòng)第一濾波操作，以增強(qiáng)與第一發(fā)聲實(shí)體相關(guān)的第一集合音頻數(shù)據(jù)的第一部分，所述第一部分相對于該音頻數(shù)據(jù)的第一集合中與除了發(fā)聲來源的第一個(gè)之外的多個(gè)發(fā)聲來源相關(guān)的另一部分而被增強(qiáng)(210)。例如，音頻增強(qiáng)部件146可以對音頻數(shù)據(jù)106的第一集合啟動(dòng)第一濾波操作，以增強(qiáng)與第一發(fā)聲實(shí)體132相關(guān)的第一集合音頻數(shù)據(jù)106的第一部分148，所述第一部分148相對于該音頻數(shù)據(jù)106的集合中與除了多個(gè)發(fā)聲來源108的第一個(gè)之外的多個(gè)發(fā)聲來源108相關(guān)的另一部分150而被增強(qiáng)， 如上所述。
基于第一參與者實(shí)體和第一發(fā)聲實(shí)體之間的空間位置關(guān)系，可以啟動(dòng)基于第一參與者位置收聽感覺的第一部分的流的空間化(212)。例如，空間化部件152可以基于第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的空間位置關(guān)系144，啟動(dòng)基于第一參與者位置收聽感覺154的第一部分148的流的空間化，如上所述。
基于第一濾波操作和空間化，可以啟動(dòng)音頻數(shù)據(jù)的空間流至第一參與者實(shí)體的傳輸(214)。例如，空間音頻傳輸部件156可以基于第一濾波操作和空間化來啟動(dòng)音頻數(shù)據(jù)的空間流158至第一參與者實(shí)體110的傳輸，如上所述。
依照一個(gè)示例性實(shí)施例，可以基于相對于與第一參與者實(shí)體相關(guān)的當(dāng)前位置的當(dāng)前距離和方向，來確定第一參與者實(shí)體和第一發(fā)聲實(shí)體之間的空間位置關(guān)系(216)。例如， 空間關(guān)系部件142可以基于相對于與第一參與者實(shí)體110相關(guān)的位置164的當(dāng)前距離160 和方向162,確定第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的空間位置關(guān)系144,如上所述。
依照一個(gè)示例性實(shí)施例，可以基于相對于與第一參與者實(shí)體相關(guān)的當(dāng)前位置的當(dāng)前導(dǎo)航距離和導(dǎo)航方向來確定第一參與者實(shí)體和第一發(fā)聲實(shí)體之間的空間位置關(guān)系 (218)。例如，空間關(guān)系部件142可以基于相對于與第一參與者實(shí)體110相關(guān)的當(dāng)前位置 164的當(dāng)前導(dǎo)航距離166和導(dǎo)航方向168,確定第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的空間位置關(guān)系144，如上所述。
依照一個(gè)示例性實(shí)施例，可以基于相對于與第一參與者實(shí)體相關(guān)的位置的動(dòng)態(tài)改變距離和動(dòng)態(tài)改變方向來確定第一參與者實(shí)體和第一發(fā)聲實(shí)體之間的空間位置關(guān)系 (220)。例如，空間關(guān)系部件142可以基于相對于與第一參與者實(shí)體110相關(guān)的位置164的動(dòng)態(tài)改變距離160和動(dòng)態(tài)改變方向162，確定第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的空間位置關(guān)系144如上所述。
依照一個(gè)示例性實(shí)施例，空間音頻數(shù)據(jù)流可以包括與接收從第一發(fā)聲實(shí)體發(fā)出的第一部分的聽眾感覺的提供相關(guān)的信息，基于第一參與者實(shí)體和第一發(fā)聲實(shí)體之間的空間位置關(guān)系，其包括以下的一個(gè)或多個(gè)聽眾感覺與第一參與者實(shí)體和第一發(fā)聲實(shí)體之間的距離相關(guān)的聽眾感覺，與第一參與者實(shí)體和第一發(fā)聲實(shí)體之間的位置差的方向相關(guān)的聽眾感覺，或者與環(huán)境聲噪音相關(guān)的聽眾感覺，其中環(huán)境聲噪音與靠近第一參與者實(shí)體或者第一發(fā)聲實(shí)體的地理環(huán)境中的一個(gè)或多個(gè)對象相關(guān)(222)。例如，空間音頻數(shù)據(jù)流158可以包括與接收從第一發(fā)聲實(shí)體132發(fā)出的第一部分148的聽眾感覺的提供相關(guān)的信息，基于第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的空間位置關(guān)系144，其包括以下的一個(gè)或多個(gè)聽眾感覺與第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的距離相關(guān)的聽眾感覺，與第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的位置差的方向相關(guān)的聽眾感覺,或者與環(huán)境聲噪音相關(guān)的聽眾感覺，其中環(huán)境聲噪音與靠近第一參與者實(shí)體110或者第一發(fā)聲實(shí)體132 的地理環(huán)境中的一個(gè)或多個(gè)對象相關(guān)，如上所述。
依照一個(gè)示例性實(shí)施例，可以啟動(dòng)第一部分的流的空間化，其基于啟動(dòng)生成空間音頻數(shù)據(jù)流的一個(gè)或多個(gè)操作(224)。例如，空間化部件152可以基于啟動(dòng)生成空間音頻數(shù)據(jù)流158的一個(gè)或多個(gè)操作來啟動(dòng)第一部分148的流的空間化。
依照一個(gè)示例性實(shí)施例，空間音頻數(shù)據(jù)流可以包括與接收從第一發(fā)聲實(shí)體發(fā)出的第一部分的聽眾感覺的提供相關(guān)的信息，其基于第一參與者實(shí)體和第一發(fā)聲實(shí)體之間的空間位置關(guān)系(226)。
依照一個(gè)示例性實(shí)施例，可以從第一參與者實(shí)體獲得第一聽眾焦點(diǎn)指示，基于以下的一個(gè)或多個(gè)與關(guān)聯(lián)于第一發(fā)聲實(shí)體的名字相關(guān)的音頻輸入，指示對第一發(fā)聲實(shí)體的選擇的選擇指示，與關(guān)聯(lián)于第一參與者實(shí)體的第一身體部分的位置焦點(diǎn)相關(guān)的焦點(diǎn)的方向，與關(guān)聯(lián)于第一參與者實(shí)體的第二身體部分的位置方位相關(guān)的焦點(diǎn)的方向，與關(guān)聯(lián)于第一參與者實(shí)體的第三身體部分的運(yùn)動(dòng)相關(guān)的焦點(diǎn)的方向，或者與關(guān)聯(lián)于第一參與者實(shí)體的用戶裝置的位置焦點(diǎn)相關(guān)的焦點(diǎn)的方向(228)。例如，焦點(diǎn)確定部件134可以經(jīng)由裝置處理器136從第一參與者實(shí)體110獲得第一聽眾焦點(diǎn)指不138,基于以下的一個(gè)或多個(gè)與關(guān)聯(lián)于第一發(fā)聲實(shí)體132的名字相關(guān)的音頻輸入170,指不第一發(fā)聲實(shí)體132的選擇172的選擇指示，與關(guān)聯(lián)于第一參與者實(shí)體110的第一身體部分的位置焦點(diǎn)相關(guān)的焦點(diǎn)174的方向，與關(guān)聯(lián)于第一參與者實(shí)體110的第二身體部分的位置方位176相關(guān)的焦點(diǎn)174的方向，與關(guān)聯(lián)于第一參與者實(shí)體110的第三身體部分的運(yùn)動(dòng)相關(guān)的焦點(diǎn)174的方向，或者與關(guān)聯(lián)于第一參與者實(shí)體110的用戶裝置的位置焦點(diǎn)相關(guān)的焦點(diǎn)174的方向，如上所述。
依照一個(gè)示例性實(shí)施例，指示第一發(fā)聲實(shí)體的選擇的選擇指示可以包括以下的一個(gè)或多個(gè)指示對觸摸顯示器上顯示的圖標(biāo)的選擇的觸摸輸入、基于音頻菜單的音頻選擇、 或者基于顯示的菜單上的選擇激活的選擇指示(230)。
依照 一個(gè)示例性實(shí)施例，可以確定多個(gè)發(fā)聲來源(232)。例如，群確定部件178可以確定多個(gè)發(fā)聲來源108，如上所述。
依照一個(gè)示例性實(shí)施例，可以確定與多個(gè)發(fā)聲來源的每一個(gè)相關(guān)的空間位置 (234)。例如，群位置確定部件180可以確定與多個(gè)發(fā)聲來源108的每一個(gè)相關(guān)的空間位置 182，如上所述。
依照一個(gè)示例性實(shí)施例，可以確定包含在多個(gè)發(fā)聲來源中的一個(gè)或多個(gè)虛擬參與者(236)。例如，虛擬參與者確定部件184可以確定包含在多個(gè)發(fā)聲來源108中的一個(gè)或多個(gè)虛擬參與者186,如上所述。
依照一個(gè)示例性實(shí)施例，可以確定與一個(gè)或多個(gè)虛擬參與者相關(guān)的空間位置 (238)。例如，群位置確定部件180可以確定與一個(gè)或多個(gè)虛擬參與者186相關(guān)的空間位置 182，如上所述。
依照一個(gè)示例性實(shí)施例，可以啟動(dòng)與多個(gè)發(fā)聲來源的每一個(gè)相關(guān)的空間位置的一個(gè)或多個(gè)的指示的傳輸(240)。例如，群位置傳輸部件188可以啟動(dòng)與多個(gè)發(fā)聲來源108的每一個(gè)相關(guān)的空間位置182的一個(gè)或多個(gè)的指示的傳輸，如上所述。
依照一個(gè)示例性實(shí)施例，可以基于以下的一個(gè)或多個(gè)來確定與多個(gè)發(fā)聲來源的第一個(gè)相關(guān)的第一發(fā)聲實(shí)體確定多個(gè)發(fā)聲來源的第一個(gè)的地理位置，確定與關(guān)聯(lián)于多個(gè)發(fā)聲來源的第一個(gè)的裝置客戶端相關(guān)的帳號，基于語音識別操作確定多個(gè)發(fā)聲來源的第一個(gè)的標(biāo)識，基于觸覺輸入識別操作確定多個(gè)發(fā)聲來源的第一個(gè)的標(biāo)識，從多個(gè)發(fā)聲來源的一個(gè)或多個(gè)接收多個(gè)發(fā)聲來源的第一個(gè)的標(biāo)識的指示，或者從第一參與者實(shí)體接收多個(gè)發(fā)聲來源的第一個(gè)的標(biāo)識的指示(242)。例如，音頻來源確定部件130可以基于以下的一個(gè)或多個(gè)來確定與多個(gè)發(fā)聲來源108的第一個(gè)相關(guān)的第一發(fā)聲實(shí)體132 :確定多個(gè)發(fā)聲來源108 的第一個(gè)的地理位置164，確定與關(guān)聯(lián)于多個(gè)發(fā)聲來源108的第一個(gè)的裝置客戶端相關(guān)的帳號，基于語音識別操作確定多個(gè)發(fā)聲來源108的第一個(gè)的標(biāo)識，基于觸覺輸入識別操作確定多個(gè)發(fā)聲來源108的第一個(gè)的標(biāo)識，從多個(gè)發(fā)聲來源108的一個(gè)或多個(gè)接收多個(gè)發(fā)聲來源108的第一個(gè)的標(biāo)識的指示，或者從第一參與者實(shí)體110接收多個(gè)發(fā)聲來源108的第一個(gè)的標(biāo)識的指示，如上所述。
依照一個(gè)示例性實(shí)施例，可以獲得包括與多個(gè)發(fā)聲來源相關(guān)的會話音頻數(shù)據(jù)的混合的音頻數(shù)據(jù)的第一集合，音頻數(shù)據(jù)的第一集合至少指向第一參與者實(shí)體(244)。例如，音頻數(shù)據(jù)獲取部件104可以獲得音頻數(shù)據(jù)106的第一集合，其包括與多個(gè)發(fā)聲來源108相關(guān)的會話音頻數(shù)據(jù)的混合，音頻數(shù)據(jù)106的第一集合至少指向第一參與者實(shí)體110，如上所述。
依照一個(gè)示例性實(shí)施例，可以對會話音頻數(shù)據(jù)的混合啟動(dòng)第一濾波操作，以增強(qiáng)與第一發(fā)聲實(shí)體相關(guān)的第一會話，所述第一會話相對于會話音頻數(shù)據(jù)中與除了多個(gè)發(fā)聲來源的第一個(gè)之外的多個(gè)發(fā)聲來源相關(guān)的另一部分而被增強(qiáng)(246)。例如，音頻增強(qiáng)部件146 可以對會話音頻數(shù)據(jù)的混合啟動(dòng)第一濾波操作，以增強(qiáng)與第一發(fā)聲實(shí)體132相關(guān)的第一會話，所述第一會話相對于會話音頻數(shù)據(jù)中與除了多個(gè)發(fā)聲來源108的第一個(gè)之外的多個(gè)發(fā)聲來源108相關(guān)的另一部分而被增強(qiáng)，如上所述。
依照一個(gè)示例性實(shí)施例，可以基于一個(gè)或多個(gè)與頭部有關(guān)的傳遞函數(shù)啟動(dòng)第一部分的流的空間化(248)。例如，空間化部件152可以基于一個(gè)或多個(gè)與頭部有關(guān)的傳遞函數(shù) 190啟動(dòng)第一部分148的流的空間化，如上所述。
依照一個(gè)示例性實(shí)施例，可以基于生成與第一部分相關(guān)的立體聲音頻流來啟動(dòng)第一部分的流的空間化(250)。例如，空間化部件152可以基于生成與第一部分148相關(guān)的立體聲音頻流來啟動(dòng)第一部分148的流的空間化，如上所述。
圖3是依照示例性實(shí)施例，圖示圖1的系統(tǒng)的示例性操作的流程圖。在圖3的示例中，可以從第一參與者實(shí)體獲得第一參與者焦點(diǎn) 指示，其指示在第二參與者實(shí)體上的第一參與者實(shí)體的第一焦點(diǎn)(302)。例如，焦點(diǎn)確定部件134可以經(jīng)由裝置處理器136從第一參與者實(shí)體獲得第一參與者焦點(diǎn)指示，其指示在第二參與者實(shí)體上的第一參與者實(shí)體的第一焦點(diǎn)，如上所述。
基于第一參與者焦點(diǎn)指不，可以獲得與作為第一發(fā)聲來源的第一參與者實(shí)體相關(guān)的音頻數(shù)據(jù)集合的第一部分，第一部分指向第二參與者實(shí)體(304)。例如，音頻數(shù)據(jù)獲取部件104可以獲得與發(fā)聲來源108相關(guān)的音頻數(shù)據(jù)106的第一集合，音頻數(shù)據(jù)106的第一集合指向第一參與者實(shí)體110，如上所述。
可以確定第一參與者實(shí)體和第二參與者實(shí)體之間的空間位置關(guān)系(306)。例如， 空間關(guān)系部件142可以確定第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的空間位置關(guān)系 144，如上所述。
可以獲得與作為第二發(fā)聲來源的第三參與者實(shí)體相關(guān)的音頻數(shù)據(jù)的集合的第二部分，第二部分指向第二參與者實(shí)體(308)。例如，音頻數(shù)據(jù)獲取部件104可以獲得第二部分，如上所述。
可以對音頻數(shù)據(jù)的集合啟動(dòng)第一濾波操作以增強(qiáng)第一部分，所述第一部分相對于音頻數(shù)據(jù)的集合中與除了第一發(fā)聲來源之外的一個(gè)或多個(gè)發(fā)聲來源相關(guān)的另一部分而被增強(qiáng)，另一部分包括第二部分(310)。例如，音頻增強(qiáng)部件146可以對音頻數(shù)據(jù)106的第一集合啟動(dòng)第一濾波操作，以增強(qiáng)與第一發(fā)聲實(shí)體132相關(guān)的音頻數(shù)據(jù)106的第一集合的第一部分148，所述第一部分148相對于音頻數(shù)據(jù)106的第一集合中與除了多個(gè)發(fā)聲來源108 的第一個(gè)之外的多個(gè)發(fā)聲來源108相關(guān)的另一部分150而被增強(qiáng)，如上所述。
可以基于第一參與者實(shí)體和第二參與者實(shí)體之間的空間位置關(guān)系啟動(dòng)基于第二參與者位置收聽感覺的第一部分的空間化(312)。例如，空間化部件152可以基于第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的空間位置關(guān)系144啟動(dòng)基于第二參與者位置收聽感覺154的第一部分148的流的空間化，如上所述。
基于第一濾波操作和空間化，可以啟動(dòng)音頻數(shù)據(jù)的第一空間流至第二參與者實(shí)體的傳輸(314)。例如，空間音頻傳輸部件156可以基于第一濾波操作和空間化啟動(dòng)音頻數(shù)據(jù)的空間流158至參與者實(shí)體110的傳輸，如上所述。
依照一個(gè)示例性實(shí)施例，可以基于相對于與第一參與者實(shí)體相關(guān)的當(dāng)前位置的當(dāng)前距離和方向來確定第一參與者實(shí)體和第二參與者實(shí)體之間的空間位置關(guān)系(316)。例如， 空間關(guān)系部件142可以基于相對于與第一參與者實(shí)體110相關(guān)的位置164的當(dāng)前距離160 和方向162,來確定第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的空間位置關(guān)系144,如上所述。
圖4是依照示例性實(shí)施例，圖示圖1的系統(tǒng)的示例性操作的流程圖。在圖4a的示例中，可以從第一參與者實(shí)體獲得第一參與者焦點(diǎn)指示，其指示在第二參與者實(shí)體上的第一參與者實(shí)體的第一焦點(diǎn)(402)。例如，焦點(diǎn)確定部件134可以經(jīng)由裝置處理器136從第一參與者實(shí)體獲得第一參與者焦點(diǎn)指示，其指示在第二參與者實(shí)體上的第一參與者實(shí)體的第一焦點(diǎn)，如上所述。
基于第一參與者焦點(diǎn)指示，可以獲得與作為第一發(fā)聲來源的第一參與者實(shí)體相關(guān)的音頻數(shù)據(jù)集合的第一部分，第一部分指向第二參與者實(shí)體(404)。例如，音頻數(shù)據(jù)獲取部件104可以獲得與發(fā)聲來源108相關(guān)的音頻數(shù)據(jù)106的第一集合，音頻數(shù)據(jù)106的第一集合指向第一參與者實(shí)體110，如上所述。
可以確定第一參與者實(shí)體和第二參與者實(shí)體之間的第一空間位置關(guān)系(406)。例如，空間關(guān)系部件142可以確定第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的空間位置關(guān)系144，如上所述。
可以從第一參與者實(shí)體獲得指示在第三參與者實(shí)體上的第一參與者實(shí)體的第二焦點(diǎn)的第二參與者焦點(diǎn)指示(408)。例如，焦點(diǎn)確定部件134可以經(jīng)由裝置處理器136從第一參與者實(shí)體獲得在第三參與者實(shí)體上的第一參與者實(shí)體的第二焦點(diǎn)。
可以獲得與作為第一發(fā) 聲來源的第一參與者實(shí)體相關(guān)的音頻數(shù)據(jù)的集合的第二部分，第二部分指向第三參與者實(shí)體(410)。例如，音頻數(shù)據(jù)獲取部件104可以獲得與作為第一發(fā)聲來源的第一參與者實(shí)體相關(guān)的音頻數(shù)據(jù)的集合的第二部分，第二部分指向第三參與者實(shí)體。
可以對音頻數(shù)據(jù)的集合啟動(dòng)第一濾波操作以增強(qiáng)第一部分，所述第一部分相對于音頻數(shù)據(jù)的集合的第一其他部分而被增強(qiáng)，第一其他部分與包括除了第一發(fā)聲來源之外的至少一個(gè)發(fā)聲來源的發(fā)聲來源相關(guān)，第一其他部分包括第二部分(412)。例如，音頻增強(qiáng)部件146可以對音頻數(shù)據(jù)106的第一集合啟動(dòng)第一濾波操作，以增強(qiáng)與第一發(fā)聲實(shí)體132相關(guān)的第一集合音頻數(shù)據(jù)106的第一部分148，所述第一部分148相對于音頻數(shù)據(jù)106的第一集合的另一部分150而被增強(qiáng)，另一部分150與除了多個(gè)發(fā)聲來源108的第一個(gè)之外的多個(gè)發(fā)聲來源108相關(guān)，如上所述。
可以基于第一參與者實(shí)體和第二參與者實(shí)體之間的空間位置關(guān)系啟動(dòng)基于第二參與者位置收聽感覺的第一部分的第一空間化(414)。例如，空間化部件152可以基于第一參與者實(shí)體110和第一發(fā)聲實(shí)體132之間的空間位置關(guān)系144啟動(dòng)基于第二參與者位置收聽感覺154的、第一部分148的流的空間化，如上所述。
基于第一濾波操作和空間化，可以啟動(dòng)音頻數(shù)據(jù)的第一空間流至第二參與者實(shí)體的傳輸(416)。例如，空間音頻傳輸部件156可以基于第一濾波操作和空間化啟動(dòng)音頻數(shù)據(jù)的空間流158至參與者實(shí)體110的傳輸，如上所述。
可以對音頻數(shù)據(jù)的集合啟動(dòng)第二濾波操作以增強(qiáng)第二部分，所述第二部分相對于音頻數(shù)據(jù)的集合的第二其他部分而被增強(qiáng)，第二其他部分與包括除了第一發(fā)聲來源之外的至少一個(gè)發(fā)聲來源的發(fā)聲來源相關(guān)，第二其他部分包括第一部分(418)。例如，音頻增強(qiáng)部件146可以對音頻數(shù)據(jù)的集合啟動(dòng)第二濾波操作，以增強(qiáng)第二部分。
可以基于第一參與者實(shí)體和第三參與者實(shí)體之間的空間位置關(guān)系啟動(dòng)基于第三參與者位置收聽感覺的第二部分的第二空間化(420)。例如，空間化部件152可以啟動(dòng)基于第三參與者位置收聽感覺的、第二部分的第二空間化。
基于第二濾波操作和第二空間化，可以啟動(dòng)音頻數(shù)據(jù)的第二空間流至第三參與者實(shí)體的傳輸(422)。例如，空間音頻傳輸部件156可以基于第二濾波操作和第二空間化啟動(dòng)音頻數(shù)據(jù)的空間流158至參與者實(shí)體110的傳輸，如以上第二討論的。
依照一個(gè)示例性實(shí)施例，從第一參與者實(shí)體獲得指示在第二參與者實(shí)體上的第一參與者實(shí)體的第一焦點(diǎn)的第一聽眾焦點(diǎn)指示138可以包括以下的一個(gè)或多個(gè)接收與關(guān)聯(lián)于第二參與者實(shí)體的名字相關(guān)的音頻輸入，確定指示第二參與者實(shí)體的選擇的選擇指示， 確定與關(guān)聯(lián)于第一參與者實(shí)體的第一身體部分的位置焦點(diǎn)相關(guān)的焦點(diǎn)的方向，確定與關(guān)聯(lián)于第一參與者實(shí)體的第二身體部分的位置方位相關(guān)的焦點(diǎn)的方向，確定與關(guān)聯(lián)于第一參與者實(shí)體的第三身體部分的運(yùn)動(dòng)相關(guān)的焦點(diǎn)的方向，或者確定與關(guān)聯(lián)于第一參與者實(shí)體的用戶裝置的位置焦點(diǎn)相關(guān)的焦點(diǎn)的方向(424)。
依照一個(gè)示例性實(shí)施例，三維(3-D)空間化的(例如，立體聲)音頻可以用來提供直播通信流(例如，基于“雞尾酒會”效應(yīng))，以有助于通信參與者過濾和定位信息。例如，可以基于位于用戶的口袋或者附接于他/她頭部的裝置中的傳感器來估算他/她頭部的角度。
本文論述的示例性技術(shù)可以利用3-D音頻和/或觸覺反饋?zhàn)鳛橛脩艚涌诘幕A(chǔ)， 來選擇對于特定通信參與者要對給定集合中的哪些信息進(jìn)行聚焦或者增強(qiáng)。
本文論述的示例性技術(shù)可以利用3-D音頻來指示與用戶的當(dāng)前環(huán)境相關(guān)的環(huán)境信息(例如，空間注釋，地理圍欄(geofence))，以提供與 關(guān)聯(lián)于通信參與者的位置、方向和環(huán)境相關(guān)的信息。
本文論述的示例性技術(shù)可以利用3-D音頻和/或觸覺反饋來為用戶提供用于查找位置或者查找彼此的信息。
本文論述的示例性技術(shù)可以提供可見的附屬菜單(例如，結(jié)合3-D音頻)，用于選擇哪些朋友/家庭要重新作為會話中有效的參與者。
本文論述的示例性技術(shù)可以利用被稱為與頭部有關(guān)的傳遞函數(shù)(HRTF)的數(shù)學(xué)模型，其可以包括人的頭部(例如，尤其是雙耳)的物理成分的參數(shù)化的簡化。在單個(gè)聲源中， HRTF可能產(chǎn)生偏移和頻率改變，因?yàn)樗怯扇硕?dú)立接收的。然后，人腦可以重建3-D效果 (例如，同時(shí)，大腦可以處理正常出現(xiàn)的聲音)。
可以持續(xù)正常會話，即使該會話是非活動(dòng)的。因此，用戶可能希望指示期望的聽眾參與者，他們希望與這些參與者在不同時(shí)間點(diǎn)進(jìn)行講話。因此，依照示例性實(shí)施例，用戶可以基于音頻選擇、觸摸選擇或者方向選擇的一個(gè)或多個(gè)來選擇聽眾。
依照一個(gè)示例性實(shí)施例，可以將用戶社交網(wǎng)絡(luò)上的“朋友”直接加入會話(B卩，不用知道用于撥號的7個(gè)或10個(gè)數(shù)字號碼或者全部名字)。因此，可以通過讀出開始于接受者名字的句子、并且然后適當(dāng)?shù)芈酚上韱?dòng)聲音選擇。對于這樣的通信，可以為低置信度匹配延遲傳輸。在此情況下，可以緩沖音頻，并且在發(fā)聲之后(例如，在.傳輸之前)可以請求確認(rèn)請求。當(dāng)置信度足夠高時(shí)，可以毫不延遲地傳輸通信。
依照一個(gè)示例性實(shí)施例，觸摸選擇可以是基于觸摸顯示器上的朋友的名字或者圖標(biāo)，并且交談可以啟動(dòng)消息的傳輸和路由。
依照一個(gè)示例性實(shí)施例，觸摸的持續(xù)時(shí)間可以指示分割消息的請求，以避免拖尾噪聲。例如，單個(gè)短暫觸摸(例如，小于I秒的持續(xù)時(shí)間)可以激活記錄，用沉默檢測來去激活(de-active)記錄行為。
依照一個(gè)示例性實(shí)施例，持續(xù)觸摸可以提供記錄的更加精細(xì)的控制。例如，觸摸可被用來激活記錄，并且觸摸的解除可以去激活記錄行為。
依照一個(gè)示例性實(shí)施例，短暫和持續(xù)的觸摸操作都可被用來指示記錄音頻數(shù)據(jù)的持續(xù)時(shí)間。
依照本文論述的示例性實(shí)施例，方向選擇可以指示哪些參與者可被包括在有效的會話中。例如，給定有效會話的小的集合以及休眠會話的較大集合，參與者可以通過觀測與空間化音頻的方向相匹配的方向提示，在有效的會話中間進(jìn)行選擇。例如，如果第一會話參與者對著第二會話參與者的左耳進(jìn)行交談，那么向左轉(zhuǎn)可以指示第二會話參與者正在向會話中的第一會話參與者發(fā)言。
然而，參與者可能向左轉(zhuǎn)，因?yàn)樗?她的身體導(dǎo)航動(dòng)作繞了個(gè)拐角。因此，可以從有意的旋轉(zhuǎn)中分析出步行/駕駛運(yùn)動(dòng)。此外，經(jīng)由位于用戶頭部上而不是包括在移動(dòng)電話中的傳感器可以更好地感知這樣的運(yùn)動(dòng)。因此，可以經(jīng)由參與者身體(例如，不僅僅是參與者的頭部)的轉(zhuǎn)動(dòng)來感知朝向另一參與者的運(yùn)動(dòng)。
此外，對于超過特定數(shù)量的有效會話(例如，6個(gè)會話)來說，可能難以確定這樣的方向選擇。因此，依照一個(gè)示例性實(shí)施例，聽覺菜單可被用 來選擇有效的參與者。依照一個(gè)示例性實(shí)施例，可以基于該選擇來提供音頻反饋(例如，以確保選擇的精確度)。例如，該系統(tǒng)可以以接受者名字形式提供音頻反饋(例如，除非會話是正在進(jìn)行的會話中的直接響應(yīng))。
依照一個(gè)示例性實(shí)施例，臨時(shí)緩沖可被用于異步功能。例如，如果接受者不能接收的話，發(fā)送者電話可以將音頻緩沖相對小、預(yù)定的有限時(shí)段。在預(yù)定時(shí)段之后，可以將緩沖的音頻上傳到云或者傳輸給接受者。在另一端，如果接受者還沒準(zhǔn)備好進(jìn)行收聽，接受者可以緩沖輸入的音頻。
依照一個(gè)示例性實(shí)施例，在預(yù)定量的時(shí)間過去后，可以將高速緩存的音頻轉(zhuǎn)換成副本和倒帶(基于用戶服務(wù)條件合同中的用戶許可)，從而降低帶寬和存儲成本。
依照一個(gè)示例性實(shí)施例，自適應(yīng)算法考慮最近的過去以及會話模式來幫助預(yù)測系統(tǒng)何時(shí)檢測新的音頻數(shù)據(jù)，更加頻繁或更不頻繁(例如，以助于有效使用諸如CPU和電池電源的系統(tǒng)資源)。
依照一個(gè)示例性實(shí)施例，在記錄空間音頻時(shí)可以對其進(jìn)行壓縮，以保存帶寬。
依照一個(gè)示例性實(shí)施例，可以將空間化提示，例如說話者的3-D位置和方位，發(fā)送給服務(wù)器，以在為接收新的數(shù)據(jù)而喚醒電話前，確定任何改變的潛在意義，如果沒有有效的語音信息，未引起注意的延遲對于以適度頻率發(fā)送來說是重要的。
本文論述的示例性技術(shù)可以混合和保存多個(gè)空間化的音頻流，其可以涵蓋從同步 (例如，全雙工會話，包括群)到異步，以便用戶在任一點(diǎn)可以“取消”(scrub)會話、收聽、加速和/或評論。這種技術(shù)可以包括客戶端和服務(wù)器處理的組合，以實(shí)現(xiàn)音頻信息的適時(shí)及可靠傳輸。例如，用戶可以生成為了聽眾參與者稍后收聽而可至少部分地記錄的消息。
依照一個(gè)示例性實(shí)施例，當(dāng)聽眾參與者收聽消息時(shí)，他/她可以在消息的不同點(diǎn)提供反饋，作為該消息不同特征的響應(yīng)或者評論(例如，音頻消息的內(nèi)部評論)。例如，該消息的原始發(fā)送者可以以內(nèi)部音頻評論的形式接收反饋，以便原始發(fā)送者可以知道接受者的評論/反饋所涉及的是哪部分。
依照一個(gè)示例性實(shí)施例，當(dāng)聽眾參與者收聽消息時(shí)，他/她可以加快記錄的重放， 以向前跳到該消息的其他部分(例如，無需以消息的原始發(fā)送者記錄的原始速度收聽全部的消息)。
依照一個(gè)示例性實(shí)施例，如果聽眾參與者收聽消息，同時(shí)原始發(fā)送者仍在記錄消息的最新部分，則聽眾參與者可以“取消(scrub)”，或者向前跳過消息，并且最終，聽眾參與者可以在原始發(fā)送者當(dāng)前記錄的地方插入消息中，以啟動(dòng)原始發(fā)送者和聽眾參與者之間的直播會話(例如，不用再收聽記錄)。因此，基于“取消”行為，空間音頻消息傳輸可以從異步切換到同步模式。
圖5描述了與圖1的系統(tǒng)交互的示例。如圖5所示，選擇性的空間音頻通信系統(tǒng) 102可以獲得與多個(gè)發(fā)聲來源108相關(guān)的音頻數(shù)據(jù)106的第一集合，音頻數(shù)據(jù)106的第一集合指向第一參與者實(shí)體110。例如，多個(gè)發(fā)聲來源108可以包括第一發(fā)聲參與者502,第二發(fā)聲參與者504和第三發(fā)聲參與者506。例如，第一參與者實(shí)體110可以包括名為“Jim” 或者“爸爸”的第一聽眾實(shí)體508 (如圖5所示)。
如圖5所示，基于“Jim”的音頻提及，或者基于選擇(例如，當(dāng)她開始說話時(shí)實(shí)際地將她的頭部轉(zhuǎn)向第一聽眾實(shí)體508)，第一發(fā)聲參與者502可以選擇“Jim”作為會話的焦點(diǎn)。例如，第一聽眾實(shí)體508可以從第一發(fā)聲參與者502以立體聲格式接收空間音頻數(shù)據(jù)， 以致于第一聽眾實(shí)體508以說話者正位于第一聽眾實(shí)體508的身后且靠左的聽眾感覺來聽取接收的空間音頻數(shù)據(jù)。
同樣，第一聽眾實(shí)體508可以從第二發(fā)聲參與者504以立體聲格式接收空間音頻數(shù)據(jù)，以致于第一聽眾實(shí)體508以說話者在不同房間內(nèi)正位于第一聽眾實(shí)體508前面且靠左的聽眾感覺來聽取接收的空間音頻數(shù)據(jù)。例如，聽眾感覺可以提供繞過導(dǎo)航障礙(例如， 墻壁)的指引效果，以在通向第二發(fā)聲參與者504的路徑上對第一聽眾實(shí)體508進(jìn)行動(dòng)態(tài)地指引。例如，第二發(fā)聲參與者504可以包括虛擬參與者。例如，可以將從第二發(fā)聲參與者 504發(fā)出的會話排除在群會話音頻數(shù)據(jù)的混合之外，該群會話音頻數(shù)據(jù)的混合是從位于相同地理場所的一群參與者處獲得的。
同樣，第一聽眾實(shí)體508可以從第三發(fā)聲參與者506以立體聲格式接收空間音頻數(shù)據(jù)，以致于第一聽眾實(shí)體508以說話者正在不同房間內(nèi)位于第一聽眾實(shí)體508前面且稍微靠左的聽眾感覺來聽取接收的空間音頻數(shù)據(jù)。例如，該聽眾感覺可以提供繞過導(dǎo)航障礙 (例如，墻壁)指引的效果，以在通向第三發(fā)聲參與者506的路徑上對第一聽眾實(shí)體508進(jìn)行動(dòng)態(tài)地指引。
例如，可以將音頻數(shù)據(jù)傳輸?shù)降谝宦牨妼?shí)體508，作為從發(fā)聲參與者502，504，506 提供的會話的會話混合，或者可以將音頻數(shù)據(jù)以獨(dú)立流的形式進(jìn)行傳輸。例如，第一聽眾實(shí)體508可以選擇他在特定時(shí)間希望聽取哪個(gè)(些)發(fā)聲參與者502，504，506。
如圖5所示，第一聽眾實(shí)體508還可以包括發(fā)聲實(shí)體。例如，第一聽眾實(shí)體508可以通過選擇名為“Jake”的第二聽眾實(shí)體510而發(fā)起會話。例如，第一聽眾實(shí)體508可以基于將他的頭部定位成看著“Jake”以及然后開始他與“Jake”的會話，來選擇“Jake”作為聽眾。例如，當(dāng)“Jim”跟“Jake”說話時(shí)將注意焦點(diǎn)轉(zhuǎn)向“Jake”的動(dòng)作可以表示靜音“Jim”從發(fā)聲參與者502，504，506接收的會話的愿望。例如，可以記錄“Jim”可從發(fā)聲參與者502， 504，506接收到的會話，直到“Jim”發(fā)信號表示收聽的期望。因此，會話可以是同步或者異步的。
如圖5所示，第四發(fā)聲參與者512可以啟動(dòng)與第三聽眾實(shí)體514的會話。如果希望，可以與房間516 (或者其他期望的會話群)內(nèi)的所有會話參與者共享(例如，使他們可以獲得)該會話。
圖6依照示例性實(shí)施例描述了與圖1的系統(tǒng)進(jìn)行交互的示例。如圖6所示，用戶裝置602可以包括指示參與者604面向?qū)嶓w606的顯示器。例如，參與者604可以加入與位于對應(yīng)于實(shí)體606的位置的另一個(gè)參與者的會話。如圖6所示,波紋608可以表示正由另一個(gè)參與者傳輸?shù)男碌囊纛l數(shù)據(jù)。例如，參與者604可以通過將他/她的頭部向右轉(zhuǎn)(在新的音頻數(shù)據(jù)的突出方向上)或者通過觸摸顯示器上的波紋608，來提供選擇接收新的音頻數(shù)據(jù)的指示，以選擇新的數(shù)據(jù)作為他新的聽眾注意焦點(diǎn)。
因此，本文論述的示例性技術(shù)可以提供選擇性的空間音頻通信。
多年來，用戶私密性和機(jī)密性都一直是數(shù)據(jù)處理環(huán)境中的考慮。因此，用于確定選擇性的空間音頻通信的示例性技術(shù)可以使用由用戶提供的數(shù)據(jù)，該用戶經(jīng)由一個(gè)或多個(gè)簽約協(xié)議(例如，“服務(wù)條件”(TOS)協(xié)議)向與選擇性的空間音頻通信相關(guān)的相關(guān)應(yīng)用或服務(wù)提供了許可。例如，所有方都可以提供進(jìn)行記錄的允諾，盡管其可以明確地指示出(經(jīng)由用戶接受的文本協(xié)議)每一方可以控制記錄如何發(fā)生，以及，如果有的話，將保持紀(jì)錄在何種級別或者持續(xù)時(shí)間。
本文描述的各種技術(shù)的實(shí)現(xiàn)方法可以實(shí)現(xiàn)在數(shù)字電子電路中、計(jì)算機(jī)硬件、固件、 軟件中，或者它們的組合中。這些實(shí)現(xiàn)方法可以實(shí)現(xiàn)為計(jì)算機(jī)程序產(chǎn)品，即， 實(shí)體地編入信息載體或者傳播信號中的計(jì)算機(jī)程序，以供數(shù)據(jù)處理設(shè)備執(zhí)行或者以控制數(shù)據(jù)處理設(shè)備，信息載體例如是，機(jī)器可用或機(jī)器可讀存儲裝置(例如，磁或者數(shù)字媒介，例如通用串行總線(USB)存儲裝置、磁帶、硬盤驅(qū)動(dòng)器、光盤、數(shù)字化視頻盤(DVD)等)，數(shù)據(jù)處理設(shè)備例如是可編程處理器、計(jì)算機(jī)、或者多個(gè)計(jì)算機(jī)?？梢砸跃幊陶Z言的任何形式編寫計(jì)算機(jī)程序，例如如上所述的計(jì)算機(jī)程序，程序語言包括匯編或者解釋語言，并且可以以任何形式配置計(jì)算機(jī)程序，包括作為獨(dú)立程序或者作為模塊、部件、子程序，或者適于在計(jì)算環(huán)境中使用的其他單元?？梢詫?shí)現(xiàn)上述技術(shù)的計(jì)算機(jī)程序可被配置為在一個(gè)計(jì)算機(jī)或者多個(gè)計(jì)算機(jī)上執(zhí)行，所述計(jì)算機(jī)在一個(gè)位置上或者分散在多個(gè)位置上并且通過通信網(wǎng)絡(luò)進(jìn)行互連。
可以通過執(zhí)行計(jì)算機(jī)程序的一個(gè)或多個(gè)可編程處理器執(zhí)行方法步驟，以通過對輸入數(shù)據(jù)進(jìn)行操作且產(chǎn)生輸出來實(shí)現(xiàn)功能。一個(gè)或多個(gè)可編程處理器可以并行地執(zhí)行指令， 和/或被安排成采用分布式配置以進(jìn)行分布式處理。還可以通過專用邏輯電路，例如FPGA (現(xiàn)場可編程門陣列)或者ASIC (專用集成電路)來執(zhí)行方法步驟，并且設(shè)備也可以實(shí)現(xiàn)為專用邏輯電路。
適用于執(zhí)行計(jì)算機(jī)程序的處理器包括，例如，通用和專用微處理器兩者，以及任意類型的數(shù)字計(jì)算機(jī)的任何一個(gè)或多個(gè)處理器。通常，處理器將從只讀存儲器或者隨機(jī)存取存儲器或者兩者接收指令和數(shù)據(jù)。計(jì)算機(jī)的元件可以包括用于執(zhí)行指令的至少一個(gè)處理器以及用于存儲指令和數(shù)據(jù)的一個(gè)或多個(gè)存儲裝置。通常，計(jì)算機(jī)還可以包括用于存儲數(shù)據(jù)的一個(gè)或多個(gè)大容量存儲裝置，例如，磁盤，磁光盤或者光盤，或者可操作地耦接以從大容量存儲裝置接收數(shù)據(jù)或者將數(shù)據(jù)傳輸?shù)酱笕萘看鎯ρb置，或者上述接收和傳輸兩者。適用于編入計(jì)算機(jī)程序指令和數(shù)據(jù)的信息載體包括所有形式的非易失性存儲器，舉例來說，包括半導(dǎo)體存儲裝置，例如，EPROM, EEPROM和閃速存儲裝置；磁盤，例如，內(nèi)部硬盤或者可移動(dòng)盤；磁光盤；和⑶ROM及DVD-ROM盤。處理器和存儲器還可以被輔以專用邏輯電路或者被并入專用邏輯電路。
為了提供與用戶的交互，可以在具有顯示裝置、鍵盤和指示裝置的計(jì)算機(jī)上實(shí)現(xiàn)這些實(shí)現(xiàn)方式，顯示裝置例如是陰極射線管(CRT)或者液晶顯示器(LCD)監(jiān)視器，用于給用戶顯示信息，鍵盤和指示裝置例如是鼠標(biāo)或者軌跡球，通過這些用戶可以為計(jì)算機(jī)提供輸入。其他類型的裝置也可用來提供與用戶的交互；例如，提供給用戶的反饋可以是任何形式的傳感反饋，例如，視覺反饋、聽覺反饋、或者觸覺反饋；并且，可以以任何形式接收來自用戶的輸入，包括聲音、語音、或者觸覺輸入。
可以在計(jì)算系統(tǒng)中實(shí)現(xiàn)這些實(shí)現(xiàn)方式，計(jì)算系統(tǒng)包括后端部件，例如作為數(shù)據(jù)服務(wù)器，或者包括中間件部件，例如應(yīng)用服務(wù)器，或者包括前端部件，例如，具有圖形用戶界面或者網(wǎng)絡(luò)瀏覽器的客戶端計(jì)算機(jī)(通過該圖形用戶界面或者網(wǎng)絡(luò)瀏覽器用戶可以與實(shí)現(xiàn)方式進(jìn)行交互)，或者這樣的后端、中間件或者前端部件的任意組合。這些部件可以通過數(shù)字?jǐn)?shù)據(jù)通信的任意形式或媒介互連，例如通信網(wǎng)絡(luò)。通信網(wǎng)絡(luò)的示例包括局域網(wǎng)(LAN)和廣域網(wǎng)(WAN)，例如，因特網(wǎng)。
盡管已經(jīng)以具體到結(jié)構(gòu)特征和/或方法動(dòng)作的語言描述了本主題，但是應(yīng)當(dāng)理解的是，在附加的權(quán)利要求中所定義的主題沒有必要局限于如上所述的具體特征或動(dòng)作。相反，上述具體特征和動(dòng)作是作為實(shí)現(xiàn)權(quán)利要求的示例形式而公開的。雖然所描述的實(shí)現(xiàn)方式的某些特征被示例為這里描述的樣子，但是對于本領(lǐng)域技術(shù)人員來說，將會想到眾多修改、置換、改變及等價(jià)物。因此， 應(yīng)當(dāng)了解到，所附的權(quán)利要求預(yù)期覆蓋落入實(shí)施例范圍的所有這些修改和改變 。
權(quán)利要求
1.一種系統(tǒng)，包括 音頻數(shù)據(jù)獲取部件(104)，其獲得與多個(gè)發(fā)聲來源(108)相關(guān)的音頻數(shù)據(jù)(106)的第一集合，所述音頻數(shù)據(jù)(106)的第一集合指向第一參與者實(shí)體(110)； 音頻來源確定(130)部件，其確定與多個(gè)發(fā)聲來源(108)的第一個(gè)相關(guān)的第一發(fā)聲實(shí)體(132)； 焦點(diǎn)確定部件(134)，其經(jīng)由裝置處理器(136)從所述第一參與者實(shí)體(110)獲得第一聽眾焦點(diǎn)指示(138)，所述第一聽眾焦點(diǎn)指示(138)指示在所述第一發(fā)聲實(shí)體(132)上的第一聽眾焦點(diǎn)(140)； 空間關(guān)系部件(142)，其確定所述第一參與者實(shí)體(110)和所述第一發(fā)聲實(shí)體(132)之間的空間位直關(guān)系(144)； 音頻增強(qiáng)部件(146)，其對所述音頻數(shù)據(jù)(106)的第一集合啟動(dòng)第一濾波操作，以增強(qiáng)所述音頻數(shù)據(jù)(106)的第一集合中與所述第一發(fā)聲實(shí)體(132)相關(guān)的第一部分(148)，所述第一部分(148)相對于所述音頻數(shù)據(jù)(106)的第一集合中與除了所述多個(gè)發(fā)聲來源的第一個(gè)之外的多個(gè)發(fā)聲來源(108)相關(guān)的另一部分(150)而被增強(qiáng)； 空間化部件(152)，其基于所述第一參與者實(shí)體(110)和所述第一發(fā)聲實(shí)體(132)之間的空間位置關(guān)系(144)啟動(dòng)基于第一參與者位置收聽感覺(154)的第一部分(148)的流的空間化；以及 空間音頻傳輸部件(156)，其基于所述第一濾波操作和所述空間化，啟動(dòng)音頻數(shù)據(jù)(106)的空間流(158)至所述第一參與者實(shí)體(110)的傳輸。
2.如權(quán)利要求1所述的系統(tǒng)，其中 所述空間關(guān)系部件(142)基于相對于與第一參與者實(shí)體(110)相關(guān)的當(dāng)前位置(164)的當(dāng)前距離(160)和方向(162)確定所述第一參與者實(shí)體(110)和所述第一發(fā)聲實(shí)體(132)之間的空間位置關(guān)系(144)。
3.如權(quán)利要求1所述的系統(tǒng)，其中 所述空間關(guān)系部件(142)基于相對于與第一參與者實(shí)體(110)相關(guān)的當(dāng)前位置(164)的當(dāng)前導(dǎo)航距離(166)和導(dǎo)航方向(168)確定所述第一參與者實(shí)體(110)和所述第一發(fā)聲實(shí)體(132)之間的空間位置關(guān)系(144)。
4.如權(quán)利要求1所述的系統(tǒng)，其中 所述空間關(guān)系部件(142)基于相對于與第一參與者實(shí)體(110)相關(guān)的位置(164)的動(dòng)態(tài)改變距離和動(dòng)態(tài)改變方向確定所述第一參與者實(shí)體(I 10)和所述第一發(fā)聲實(shí)體(132)之間的空間位置關(guān)系(144)。
5.如權(quán)利要求4所述的系統(tǒng)，其中 所述空間音頻數(shù)據(jù)流(158)包括與接收從所述第一發(fā)聲實(shí)體(132)發(fā)出的第一部分(148)的聽眾感覺的提供相關(guān)的信息，其基于所述第一參與者實(shí)體(110)和所述第一發(fā)聲實(shí)體(132)之間的空間位置關(guān)系(144)，所述聽眾感覺包括以下的一個(gè)或多個(gè) 與所述第一參與者實(shí)體和所述第一發(fā)聲實(shí)體之間的距離相關(guān)的聽眾感覺， 與所述第一參與者實(shí)體和所述第一發(fā)聲實(shí)體之間的位置差的方向相關(guān)的聽眾感覺，或者 與環(huán)境聲噪音相關(guān)的聽眾感覺，所述環(huán)境聲噪音與地理環(huán)境中靠近所述第一參與者實(shí)體或者第一發(fā)聲實(shí)體的一個(gè)或多個(gè)對象相關(guān)。
6.如權(quán)利要求1所述的系統(tǒng)，其中 所述焦點(diǎn)確定部件(134)經(jīng)由所述裝置處理器(136)從所述第一參與者實(shí)體(110)獲得第一聽眾焦點(diǎn)指示(138)，基于以下的一個(gè)或多個(gè) 與關(guān)聯(lián)于所述第一發(fā)聲實(shí)體(132)的名字相關(guān)的音頻輸入(170)， 指示所述第一發(fā)聲實(shí)體(132)的選擇(172)的選擇指示， 與關(guān)聯(lián)于所述第一參與者實(shí)體(110)的第一身體部分的位置焦點(diǎn)相關(guān)的焦點(diǎn)(174)的方向， 與關(guān)聯(lián)于所述第一參與者實(shí)體(110)的第二身體部分的位置方位相關(guān)的焦點(diǎn)(174)的方向， 與關(guān)聯(lián)于所述第一參與者實(shí)體(110)的第三身體部分的運(yùn)動(dòng)相關(guān)的焦點(diǎn)(174)的方向，或者 與關(guān)聯(lián)于所述第一參與者實(shí)體(110)的用戶裝置的位置焦點(diǎn)相關(guān)的焦點(diǎn)(174)的方向。
7.如權(quán)利要求6所述的系統(tǒng)，其中 指示所述第一發(fā)聲實(shí)體(132)的選擇的選擇指示包括以下的一個(gè)或多個(gè) 指示在觸摸屏顯示器上顯示的圖標(biāo)的選擇的觸摸輸入， 基于音頻菜單的音頻選擇，或者 基于在顯示的菜單上的選擇激活的選擇指示。
8.一種計(jì)算機(jī)程序產(chǎn)品，其可實(shí)體地包含在計(jì)算機(jī)可讀存儲媒介上，并且包括可執(zhí)行代碼，使得至少一個(gè)數(shù)據(jù)處理設(shè)備 從第一參與者實(shí)體(110)獲得(302)指示在第二參與者實(shí)體上的第一參與者實(shí)體(110)的第一焦點(diǎn)的第一參與者焦點(diǎn)指示； 基于第一參與者焦點(diǎn)指示，經(jīng)由裝置處理器(136)，獲得(304)與作為第一發(fā)聲來源(108)的第一參與者實(shí)體(110)相關(guān)的音頻數(shù)據(jù)(106)的集合的第一部分(148)，所述第一部分(148)指向第二參與者實(shí)體； 確定(306)第一參與者實(shí)體(110)和第二參與者實(shí)體之間的空間位置關(guān)系(144)；經(jīng)由所述裝置處理器(136)，獲得(308)與作為第二發(fā)聲來源的第三參與者實(shí)體相關(guān)的音頻數(shù)據(jù)(106)的集合的第二部分，第二部分指向第二參與者實(shí)體； 啟動(dòng)(310)對音頻數(shù)據(jù)(106)的集合的第一濾波操作，以增強(qiáng)所述第一部分(148)，所述第一部分相對于音頻數(shù)據(jù)(106)的集合與除了第一發(fā)聲來源之外的一個(gè)或多個(gè)發(fā)聲來源(108)相關(guān)的另一部分(150)而被增強(qiáng)，所述另一部分(150)包括第二部分； 基于所述第一參與者實(shí)體(110)和所述第二參與者實(shí)體之間的空間位置關(guān)系(144)，啟動(dòng)(312)基于第二參與者位置收聽感覺(154)的第一部分(148)的空間化；以及 基于所述第一濾波操作和所述空間化，啟動(dòng)(314)音頻數(shù)據(jù)(106)的第一空間流(158)至第二參與者實(shí)體的傳輸。
9.一種方法，包括 從第一參與者實(shí)體(110)獲得(402)指示在第二參與者實(shí)體上的第一參與者實(shí)體(110)的第一焦點(diǎn)的第一參與者焦點(diǎn)指示；基于第一參與者焦點(diǎn)指示，經(jīng)由裝置處理器(136)，獲得(404)與作為第一發(fā)聲來源(108)的第一參與者實(shí)體(110)相關(guān)的音頻數(shù)據(jù)(106)的集合的第一部分(148)，所述第一部分(148)指向第二參與者實(shí)體； 確定(406)第一參與者實(shí)體(110)和第二參與者實(shí)體之間的空間位置關(guān)系(144)；從第一參與者實(shí)體(110)獲得(408)指示在第三參與者實(shí)體上的第一參與者實(shí)體的第二焦點(diǎn)的第二參與者焦點(diǎn)指示； 經(jīng)由所述裝置處理器(136)獲得(410)與作為第一發(fā)聲來源(108)的第一參與者實(shí)體(110)相關(guān)的音頻數(shù)據(jù)(106)的集合的第二部分，所述第二部分指向第三參與者實(shí)體；啟動(dòng)(412)對音頻數(shù)據(jù)(106)的集合的第一濾波操作，以增強(qiáng)所述第一部分(148)，所述第一部分相對于音頻數(shù)據(jù)(106)的集合中與包括除了第一發(fā)聲來源之外的至少一個(gè)發(fā)聲來源的發(fā)聲來源(108)相關(guān)的第一其他部分而被增強(qiáng)，所述第一其他部分包括第二部分；基于所述第一參與者實(shí)體(110)和所述第二參與者實(shí)體之間的空間位置關(guān)系(144)，啟動(dòng)(414)基于第二參與者位置收聽感覺(154)的第一部分(148)的第一空間化； 基于所述第一濾波操作和所述空間化，啟動(dòng)(416)音頻數(shù)據(jù)的第一空間流(158)至第二參與者實(shí)體的傳輸； 啟動(dòng)(418)對音頻數(shù)據(jù)(106)的集合的第二濾波操作，以增強(qiáng)所述第二部分，所述第二部分相對于音頻數(shù)據(jù)(106)的集合中與包括除了第一發(fā)聲來源之外的至少一個(gè)發(fā)聲來源的發(fā)聲來源(108)相關(guān)的第二其他部分而被增強(qiáng)，所述第二其他部分包括第一部分(148)；基于所述第一參與者實(shí)體(110)和所述第三參與者實(shí)體之間的空間位置關(guān)系(144)，啟動(dòng)(420)基于第三參與者位置收聽感覺(154)的第二部分的第二空間化；以及 基于所述第二濾波操作和所述第二空間化，啟動(dòng)(422)音頻數(shù)據(jù)的第二空間流(158)至所述第三參與者實(shí)體的傳輸。
10.如權(quán)利要求9所述的方法，其中 從第一參與者實(shí)體(110)獲得(424)指示在第二參與者實(shí)體上的第一參與者實(shí)體(110)的第一焦點(diǎn)的第一參與者焦點(diǎn)指示包括以下的一個(gè)或多個(gè) 接收與關(guān)聯(lián)于所述第二參與者實(shí)體的名字相關(guān)的音頻輸入， 確定指示第二參與者實(shí)體的選擇(172)的選擇指示， 確定與關(guān)聯(lián)于所述第一參與者實(shí)體(110)的第一身體部分的位置焦點(diǎn)相關(guān)的焦點(diǎn)(174)的方向， 確定與關(guān)聯(lián)于所述第一參與者實(shí)體(110)的第二身體部分的位置方位相關(guān)的焦點(diǎn)(174)的方向， 確定與關(guān)聯(lián)于所述第一參與者實(shí)體(110)的第三身體部分的運(yùn)動(dòng)相關(guān)的焦點(diǎn)(174)的方向，或者 確定與關(guān)聯(lián)于所述第一參與者實(shí)體(110)的用戶裝置的位置焦點(diǎn)相關(guān)的焦點(diǎn)(174)的方向。
全文摘要
本申請涉及選擇性的空間音頻通信。獲得與多個(gè)發(fā)聲來源相關(guān)的音頻數(shù)據(jù)，所述音頻數(shù)據(jù)指向參與者實(shí)體。確定與所述發(fā)聲來源之一相關(guān)的發(fā)聲實(shí)體。從所述參與者實(shí)體獲得聽眾焦點(diǎn)指示，其指示在發(fā)聲實(shí)體上的聽眾焦點(diǎn)。確定所述參與者和發(fā)聲實(shí)體之間的空間位置關(guān)系。啟動(dòng)濾波操作以增強(qiáng)與所述發(fā)聲實(shí)體相關(guān)的音頻數(shù)據(jù)的一部分，所述部分相對于所述音頻數(shù)據(jù)中與除了第一個(gè)之外的發(fā)聲來源相關(guān)的另一部分而被增強(qiáng)?；谒隹臻g位置關(guān)系，啟動(dòng)基于參與者位置收聽感覺的第一部分的流的空間化?；谒鰹V波操作和空間化，啟動(dòng)音頻數(shù)據(jù)的空間流至參與者實(shí)體的傳輸。
文檔編號H04L12/18GK103036691SQ20121054614
公開日2013年4月10日 申請日期2012年12月17日 優(yōu)先權(quán)日2011年12月17日
發(fā)明者A.巴-齊夫, E.格森, K.卡蒂爾, E.奧菲克, G.金奇 申請人:微軟公司