?

AIRX三次方會定期為大家推薦一些可移植性強(qiáng)的、可二次開發(fā)應(yīng)用的、可落地實際場景使用的實戰(zhàn)工程源碼分享給大家。另外有優(yōu)秀的demo或案例推廣、解決方案對接的也可以聯(lián)系我們（尾部有聯(lián)系方式）。本部分分享的代碼主要是Unity 空間音頻（AirPods Pro（Max））

不管是AirPods Pro，還是新出AirPods Max，支持動態(tài)頭部追蹤的空間音頻功能可在觀看大片時，帶給你劇場般的環(huán)繞聲體驗。利用內(nèi)置的陀螺儀和加速感應(yīng)器，AirPods Max 能與 iPhone 或 iPad 配合，追蹤頭部的輕微活動，讓你始終感覺聲音來自設(shè)備的方向。

蘋果在iOS 14中發(fā)布了Headphone Motion API，可以通過AirPods Pro（Max）兼容耳機(jī)訪問頭部跟蹤數(shù)據(jù)。Unity也公開這個API。使用這個來從蘋果耳機(jī)(如AirPods Pro)獲取頭部跟蹤數(shù)據(jù)到Unity場景中。

Headphone Motion API：

https://developer.apple.com/documentation/coremotion/cmheadphonemotionmanager

下面是一些頭部跟蹤數(shù)據(jù)的可能用途:

• 用于空間音頻應(yīng)用的音頻偵聽器旋轉(zhuǎn)
• 頭像頭部運(yùn)動
• 自然手勢交互(點頭表示同意)
• 健身跟蹤應(yīng)用程序

該插件的功能：

• 檢查給定設(shè)備上的耳機(jī)運(yùn)動API是否可用
• 耳機(jī)連接和斷開連接事件

項目工程代碼：

https://assetstore.unity.com/packages/tools/integration/headphone-motion-179629#description

空間音頻絕對是MR眼鏡必備功能，蘋果一直在研發(fā)新的音頻空間格式。就像對ARKit的3D模型（usdz）所做的那樣，Apple正在開發(fā)一種新的音頻格式，即使在用戶移動，戴著“ Apple Glass ”或其他AR設(shè)備時，也可以更輕松沉浸式地在用戶周圍放置“3d聲音”。

以前已經(jīng)證明Apple在為AR制作高分辨率視頻圖像，現(xiàn)在它也致力于與之配套產(chǎn)生高質(zhì)量的音頻。在新的專利申請中，該公司正在研究與空間音頻有關(guān)的工作。

具體來說，Apple希望建立一種音頻格式，例如.MP3或.AAC，并結(jié)合了AR所需的額外空間信息。該格式不僅需要包含實際的音頻，而且還遠(yuǎn)遠(yuǎn)超出在立體聲圖片的左側(cè)還是右側(cè)播放元素的范圍。蘋果以前曾與皮克斯合作開發(fā)一種名為USDZ的格式，該格式用于將音頻放置在用戶周圍的3D空間中。

“在增強(qiáng)現(xiàn)實（AR），虛擬現(xiàn)實（VR）和混合現(xiàn)實（MR）應(yīng)用程序中產(chǎn)生三維（3D）聲音效果是具有挑戰(zhàn)性的……因為現(xiàn)有的音頻格式最初是為在物理環(huán)境中產(chǎn)生3D聲音而設(shè)計的具有固定的揚(yáng)聲器位置和固定的聽眾。”

蘋果將AR，VR和MR統(tǒng)稱為“模擬現(xiàn)實”（SR），并表示希望在許多現(xiàn)有3D音頻格式的基礎(chǔ)上發(fā)展。例如，旨在產(chǎn)生3D聲音的空間音頻格式包括MPEG-H 3D音頻標(biāo)準(zhǔn)，HOA空間音頻技術(shù)和DOLBY ATMOS環(huán)繞聲技術(shù)。

蘋果公司提出的解決方案是創(chuàng)建一種格式，該格式類似于.m4v和.mp4是將不同元素組合在一起的格式。對于蘋果公司對空間音頻的新要求，該公司建議創(chuàng)建一個音頻資產(chǎn)庫，其中包括資產(chǎn)元數(shù)據(jù)，使模擬現(xiàn)實（SR）應(yīng)用程序開發(fā)人員能夠為SR應(yīng)用程序編寫聲音。”

蘋果公司說：“音頻經(jīng)過了格式化，包括音頻數(shù)據(jù)，這些數(shù)據(jù)編碼了能夠被編入SR應(yīng)用程序的聲音，以及資產(chǎn)元數(shù)據(jù)，不僅描述了聲音的編碼方式，而且還描述了SR環(huán)境中聽眾的感受。

另外Facebook Reality Labs研究小組之前也分享了一些關(guān)于AR的音頻項目。該小組的目標(biāo)是將技術(shù)融入到AR眼鏡中，通過在嘈雜的環(huán)境中輕松隔離對話聲音，增強(qiáng)你的聽力，并能夠重現(xiàn)虛擬聲音，讓它們看起來像是來自你周圍的真實世界。自定義的HRTF是提供這種體驗的關(guān)鍵，它是每個人根據(jù)頭部和耳朵形狀聽到聲音的獨(dú)特方式的數(shù)字版本，但這個過程既耗時又昂貴。該團(tuán)隊正在研究一種可擴(kuò)展的解決方案，可以從你的耳朵的一張簡單照片生成精確的HRTF。

不管是蘋果還是FaceBook，都在一步步圍繞ARVR來迭代相關(guān)技術(shù)，未來的AR眼鏡或是AR應(yīng)用也會因為這些細(xì)節(jié)技術(shù)（空間音頻等）更加沉浸、更加現(xiàn)實，帶來更好的用戶體驗！

總結(jié)

以上是生活随笔為你收集整理的苹果耳机AirPods Max（Pro）的空间音频技术，Unity端开源框架下载的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。