伊人大杳蕉在线影院75_一点不卡v中文字幕在线_黄桃AV无码免费一区二区三区_中文字幕人妻互换激情

首先聲明它需要很高的計算密集度（computationally intensive），也需要耗費大量的計算成本，我是燒的是titan，手機盒子啥的就別考慮了……一臺頂配PC可以跑50個以上的sound，而一臺普通的手機則只能跑2-3個這樣的sound，所以它在兼容性上也非常受制約。
先講一個三自由度的VR聲，在cardboard design lab上的一個場景，你看著火，然后觸發(fā)了貓頭鷹很詭異的叫聲，因為聲音定位得很準，你轉(zhuǎn)過頭馬上看見了貓頭鷹，然后它飛快地逃走了。
再講六自由度的，我在之前在oculus share上玩的一個游戲。

聲音成了可交互的元素

游戲叫《Pastoral》，里面很黑很黑。
當黑到一定程度的時候，視覺就失去作用了。這時玩家就需要空間來定位。比如將聲源放在3D空間中的某個位置，你會感覺它就在空間中的那個位置，無論你搖晃轉(zhuǎn)動頭部都感覺它在那里。
因為你的眼睛沒有視覺信號，所以這里的觸發(fā)也由聲音來完成，比如你走過草地的沙沙聲，你踩到樹枝的咔擦聲，都會引來狼，或者驚飛了樹上的鳥。
比如的右邊傳來奇怪的聲音，你馬上轉(zhuǎn)過頭去，向右邊走去，這就誘導你：『右邊的東西可以交互』
想象你在黑暗中感受整個空間：我們周圍發(fā)生的事和保證我們的安全。
什么地方響你就轉(zhuǎn)眼轉(zhuǎn)頭集中注意力去聽那里

我們都知道在VR中，最重要的兩個元素一個是（視覺暗示）visual cue，另一個是（聽覺暗示）audio cue。
VR在視覺上最重要的三個要素是

• 分辨率（resolution）
  
• 延遲（latency）
  
• 和追蹤（tracking）

• 方向（direction）聲音從什么地方來？最基本的三自由度就會對聲音有這個需求。見《人耳是怎么區(qū)分前后和上下的？》當我們聽聲音的時候，總喜歡輕輕調(diào)整腦袋和身體，這就是在給audio進行定位。
  
• 距離（distance）聲音離你有多遠？帶position tracking的六自由度就會產(chǎn)生這個需求。見《聲音的距離感是是如何產(chǎn)生的? 》
  

關(guān)于HRTF，可以看《什么是人頭錄音？》。我這里補充一點，標準的流程是每個用戶需要根據(jù)自己的頭部形狀和身體形狀進行私人的訂制。

—————————————————————————————————————

虛擬現(xiàn)實的本質(zhì)是欺騙，而VR 中的3D audio，目的也是為了欺騙用戶，讓用戶相信『這個聲音來自那個空間里的某個特別的音源』。

如果你戴著VR頭顯，而聲音是扁的，感覺耳朵被黏住了，在聽覺上你就感覺不到空間感了。

VR audio的最終目標是形成一個聲場。
在這個場中由無數(shù)個speaker構(gòu)成。
你站在中間，聽聲音從四周傳來。你走到左邊，哦，那里是小提琴，然后你走到右邊，喲，那里是在敲的打鼓……這也許就是未來六自由度VR音樂會的形式。
對于聲音的position tracking的感覺，最直接的是『當你向左右轉(zhuǎn)頭的時候，你感覺到聲音仍然在那個地方。』
6自由度遠距離audio
6自由度近距離audio
3自由度遠距離audio
3自由度近距離audio

3D Audio

3D Audio你可以理解為來自于各個方向的聲音，傳統(tǒng)的2Ｄ平面的聲音只有左右前后，而3D Audio可以來自與后方，也可以來自于你的身體的下方。無論你怎么轉(zhuǎn)頭，都感覺聲音就在空間中的那個地方，你甚至可以找到它。
原來的stereo、全局聲音也不存在了，在3D Audio中，聲音都是來自某個點（聲源）。所以3D audio的設計，需要你在用戶能夠達到的任何地方，它的360度里都要放上發(fā)聲器……
而各個方向的聲音一直存在，相互作用、相互影響，形成環(huán)繞的混響回聲（convolution reverb）。
因為是一直存在的，所以如果聲音聽起來感覺不爽（比如聲音音量太大，音樂太難聽），用戶就直接摘掉耳機甚至HMD了。
所以音樂就不是全局的音樂，而是由VR中某個東西播放出來的。
所以，為了替代原來的，比如你要播放背景音樂，就不能是全局的。而要找個東西來播放，比如收音機、唱片……這些實實在在的東西。

傳統(tǒng)的5.1聲道的使用場景是：你仔細地看著屏幕，一動不動，聲音是來自黏在你耳朵上的耳機或者固定在地板天花板上音響。你每次聚焦一個點，而這個焦點是導演安排給你的，就只能聽到聲源傳到那個點的聲音。
但是在VR中，你就在屏幕里面，用戶可以聚焦在任何地方。
你可以望著這里，并聽到相應的聲音。
你也可以望著這里，聽到因為你的位置變化而產(chǎn)生各種變化的聲音。
傳統(tǒng)的5.1中也沒有center speaker的概念。
如果運用在VR社交中，那么你聽到的聲音就確實來自于人嘴巴的位置了。
下面重點分享一些demo——

房間demo

你會聽到有排氣扇（vent）的聲音，然后你抬起頭，『哇，原來聲音來自那個排氣扇』。你聽到電視機的聲音，轉(zhuǎn)過頭去，『哇，聲音是電視機發(fā)出來的』

潛水艇demo

比如這個潛水艇，可以聽到周圍的機器聲音，每個機器都發(fā)出奇怪的聲音。外圍是巨大的水聲，頭頂則是水管運輸水的聲音。
在你的頭的四周放上四個emitter
頭頂上方可以聽到巨大的水流聲，感覺自己就在水下。
你感覺到頭頂?shù)臇|西好像有些重量，忍不住彎腰駝背。
這里用了一個低通濾波器（low pass filter）來模仿水下的聲音，它的高頻很快會在空氣中失去活力。
我平常用得比較多的濾波器有：

• 濾波（filtering）
  
• 均衡（equalization）
  
• 失真（distortion）
  
• 鑲邊（flanging）

如果你把音源放在玩家的下面，他們就感覺自己在聲源的上面，你感覺自己站得很高。當你站在很高很高的樓頂時，你聽到下面作響的風聲。
再復雜的聲音都是由簡單的Mono組成的，就是所謂的單通道（single channel）。讓復雜的聲音由mono構(gòu)成，而不是Area Sources。（比如大瀑布的流水、奔騰的河流、熙攘的人群，這些聲音都是Area Sources。）

霸王龍demo

在傳統(tǒng)的立體聲中，我們把audio放在root里。你只能聽到聲音來自那頭龍，但是都是在一個平面上。
但是在VR中，每個聲音都來自正確位置的聲源，你會感到聲源是是實實在在存在的。
你會聽到大地的轟隆震動聲來自它的兩只腳，左邊的轟隆聲來自左腳，右邊的轟隆聲來自右腳，頭頂?shù)凝埮叵鴣碜运�的龍口�?br> （一般來說，物體的聲音默認放在它的臀部還有腳接觸地面的地方，所以播放的時候有『跨步』的聲音和『腳踩大地的聲音』）

恐高demo

當你在這樣一個VR空間里的時候你會感覺到一陣恐高的眩暈感（vertigo），如果這時還聽見下方劇烈的風咆哮的話。
（你可以看見下圖的三個loop）
兩個loop，一個在你前面，一個在你后面

龍吼demo

在VR里所有的聲音資源都是mono的。如果是普通的2D聲音的話，你就感覺耳機像是被粘在自己耳朵上一樣。
所有混音師以前的技能也受到了挑戰(zhàn)，你不再是把聲音混在一個平面里了，而是把它混在一整個空間里，你可以把聲音放在用戶的頭頂，把聲音放在用戶的身后，把聲音放在用戶的腳下……stereo不再適用了，
你可以聽到聲音來自龍的咆哮。
當然，另外的細節(jié)就是在城堡vaode其他地方添加各種細節(jié)的聲音，你能聽到來自四方的風聲。

礦井demo

當你經(jīng)過這個礦洞的時候，你的背后傳來仔ZZZ的聲音，于是你回頭看到了燈籠。這個過程相當于你的視覺反饋了你的聽覺暗示。
然后還有車子之間相互碰撞的聲音。

（轉(zhuǎn)譯一段oculus audio SDK中的內(nèi)容）

聲音穿過空間的時候，會在表面形成反射，造成了一系列的回聲。早期反射（Early Reflections）可以幫助我們定位。然后回聲不斷地傳播（propagate）、削弱（diminish）、和其它物體交互，而造成了晚期回響尾聲（late reverberation tail）。
鞋盒房間（shoebox room）就是利用前面說的Initial Time Delay用來模仿回聲，它是一個簡化的環(huán)境幾何學（environment's geometry），它是一種非常理想的情況，不考慮遮擋，而且假定每個表面的對頻率的吸收相等。因為盒子是六面體，它的六個面都有回聲，所以用戶會產(chǎn)生處在一個room中從而產(chǎn)生空間感。就拿國際象棋來說，你站在局外玩，Presence和Immersion的感覺遠遠不如身處其中玩。一個是身處局外的outside scene，一個是身處其中的inside Scene……我不由想起小說中常聽到的『局外人』，那些游離于生活之外的人們。

• 全局的界面元素：按鈕、轉(zhuǎn)場、暗示和一些其他控件。
  
• 一些頁面的解說（Narration）
  
• 你所扮演的avatar，它的心跳、它喝水吃飯的聲音