感官製造機：工程視角下的VR原理？給工程師／設計師／創作者最詳盡的VR 設計入門(中)
在想著要寫文章來介紹VR時，其實面臨到很多困難，為什麼呢？因為VR體驗包含了多重感官，而這種多重的感官經驗其實很難用文字來還原(represent)當下的感受，文字雖然很適合用來分析，但實在難以表達什麼是VR暈(motion sickness)、或像里奇高台(Richie’s Plank)為什麼只是走地上的木板就懼高到尖叫。
這篇要談的是VR設備如何模擬人類的感官，但還是建議大家自行去體驗，畢竟紙上談兵跟真的看VR還是有差的。文章只是給大家一個思考框架，在看VR作品時可以從這些角度出發。
上一篇VR入門<上>概括地描述了什麼是VR，建立了對VR的基本認識，如果你還沒看過的話，建議你從<上>開始看，才不會覺得很侷限。這一篇文從比較工程的角度更精確的來談，VR的各項規格：關於感官技術、VR的缺失、操作自由度與運行環境等各項產品特性。
感官經驗：不被意識到但重要的使用體驗
從易用性(Usability) 的角度出發，最好的設計就是沒有讓人發現你設計了什麼但直覺好用。這邊用人因工程的資訊處理模型(Human Information Processing Model, HIP )來解釋一下，VR設備中不常被察覺到，但影響使用體驗重要的因素（可能會有點深，覺得太複雜的可以直接跳到下面）。
從內容創作者的觀點，會認為「內容為王(Content is King)」：我只要做好內容就能夠吸引目標受眾，但從媒體學的角度來看，不論是什麼樣的內容，都受限於VR設備本身能創造的感官體驗。而且感官體驗經常是在做創作構想時忽略的一塊，大部分運用科技媒體的創作者，在構想敘事內容時，很難直接聯想到如何發揮VR本身具備的特性：VR是如何創造感官體驗的？這邊我用資訊處理模型(HIP)來解釋感官體驗有多麽重要。因為這個模型有非常多種版本，為了容易理解，我根據MIT和UXLady這兩篇論述狂妄地綜合出一個自己的版本。
1. 感官體驗是先於認知的
設計師整天在講感官/認知/行為，都散發出設計師臭了，但美美的圖像除了美，到底能帶來什麼效益呢？。搭配上圖，這邊直接舉一個例子：當我們在看一部動畫時，我們第一眼會關注到的是這部動畫的畫風吸不吸引人？角色長得好看嗎？當視覺呈現通過了考驗之後，我們才會開始思考故事在演什麼？題材是不是吸引我？如果畫面長太醜或畫質太差的話，在你想理解這個故事之前大概就關掉了。這是因為感官處理是前於認知處理的，追求聲光效果雖然看似膚淺，但是是讓我們有辦法被作品吸引、黏著的最初動力，代表著觀眾對感官體驗的最低限度要求。
知道感官與認知之間的關係後，再來要談的是注意力的建立。
2. 大多時候感官是無意識的，但會引起生理反應
人的理解力和注意力是有限且具選擇性的，因此在體驗VR時，我們很多感覺的處理都是仰賴感官反射，而透過感官反射處理的資訊是不會帶來心理感受的，只會產生生理反應（如吸引目光、暈眩、想吐、踩空、撲空等），當然若我們很集中精神地想要找碴的時候，也能把原本意識邊緣外的感官集中到注意力中心（就像動畫演的那樣XD）。
統合的感官
人在理解訊息時，感官比例並不是均等的。我比較常見到的版本是視覺83%、聽覺11%、嗅覺3.15%、觸覺1.15%、味覺1%。當然這個實驗是很早期的研究，實驗出來的比例在不同體驗情境裡也是會改變的，但可知道大部分情況下，視覺佔據了體驗的關鍵要素。
然而按照工程科學的發展順序，則是依該感官的可複製程度決定，視覺和聽覺都是容易數位複製的感官；其次是觸覺，因為觸覺的模擬需要仰賴物理定律：作用力、材質紋理、慣性…；最後是嗅覺跟觸覺，因嗅覺及觸覺是靠眾多化學物質在特定濃度下構成，而這些物質仍無法像視覺或聽覺一樣有基本的組成元素。
關於人體的七種感官
一般的體驗設計多談五感–視覺、聽覺、觸覺、嗅覺、味覺，但人體還有另外兩種感官是較少提及，但在VR的生理認知中扮演重要的角色，分別是：本體感覺(Proprioception)與平衡覺(Equilibratory Sense)。
本體感覺 Proprioception
在VR中以視覺占感官主導地位，視覺沉浸的情形下，我們是看不到外面世界的，當我們要抓取物件、與虛擬世界互動時，主要仰賴本體感覺來判斷距離和位置。本體感覺好比肌肉記憶，有時又被稱為運動覺，對於運動員、演奏家、舞者等仰賴肌肉記憶的職業來說，本體覺會特別好。
常見的本體感覺實驗為：當你閉上眼睛，你的手指可精準碰到另一隻手的任意手指頭的位置。或是在沒有視覺的情況下知道自己的五官／每個身體部位的位置在哪。這種對於身體位置的感覺認知，就稱做本體感覺。
平衡覺 Equilibratory Sense
平衡覺是由耳內的前庭系統(Vesticular System)所組成，前庭系統包含半規管與耳石，就如同三軸加速度計 + 陀螺儀一樣，用來判斷我們的加速度，是否在走路／移動 / 旋轉…等等，當我們的平衡覺與其他感官衝突時，我們容易感到不適暈眩，例如當我們自體旋轉到一半時突然停下來站著不動，仍會覺得維持天旋地轉一段時間且頭暈，即是視覺和平衡覺衝突的狀況（人的平衡由視覺和耳內平衡覺共同調節）。
視覺 Visual — VR的立體(Stereo)成像
若我們把VR的頭顯畫面直接顯示出來會看到兩個框框，兩個框框顯示的內容其實是些微不一樣的，這個位置的差距用來欺騙我們的眼睛創造視差(Parallax)，好讓我們能感知到物件的深度遠近，配合正確的瞳距(Inter Pupillary Distance,IPD)，即兩眼瞳孔間的距離，來讓眼睛單靠對焦就能在兩個平面上創造出3D的深度立體感(通常越近的景兩個在左右螢幕上位置差異越大)，而眼球的對焦過程，則稱為視覺輻輳(Vergence)。
大家一定很好奇，眼球要一直盯著離自己前方3公分的地方看，那我看VR會特別容易近視嗎？目前似乎沒有會加深近視的科學依據，畢竟視覺成像的方式與平常看近物不同。看VR時眼球無法真的對焦（就像是明明在看遠景，但對焦位置要調整到近處一樣）。這個問題稱做視覺輻輳調節衝突，這項視覺衝突也會導致暈眩及眼睛疲勞，因此剛開始用個10–15分鐘就需要休息一下，詳細可以看鈺佳的VRUI-Library，這裡就不贅述了。
聽覺 Auditory – 塑造空間感
目前尚無法很好還原的是聲響的音場，VR設備的聽覺仍是雙聲道的耳機及喇叭為主流，但其實雙聲道耳機的擬真程度已足以應付大部分的應用情境，當然像前篇提到的沉浸式聲響，以及一些空間聲音定位技術，仍沒有大量普及在VR的環境。這兩種主題篇幅都大到可以獨立出來好好介紹(誤)，故先不做討論。
觸覺 Tactile – 實體世界的最大特性
觸覺科技的應用是VR目前主力發展的技術之一。觸覺可再細分成觸摸覺、震動覺、溫覺、壓覺、材質覺等等，每種觸覺的模擬方式皆不同，例如噴氣裝置、繩索牽張力、穿戴式裝置、道具提供的實體感、肌電控制…等非常多方式。創造出沉浸感往往需要現實世界的道具與虛擬世界相配合，像HTC Vive(2017)就有推出追蹤器(tracker)，讓VR內容可結合手把以外的道具，能讓物件在現實與虛擬世界互相對應。
嗅覺(Olfaction)及味覺(Taste)
嗅覺被喻為是最個人化的兩種感官，同樣的化學物質比例，對於不同人來說感知到味道可能不同。因此還沒辦法在VR中被大量複製。僅有少數作品以現成物件，結合機構來還原感官，像1960年的《Scent of Mystery》是歷史上最有名的第一個失敗的嗅覺電影。VR嗅覺作品的話，如交大應藝所的氣味時光屋透過安裝在頭前方的轉盤，當觀者與具有味道的物件互動時，轉盤會將對應的物件轉到鼻子前方。
再舉個觸覺的案例，最近看到結合觸覺的案例都是偏向成人向的題材…。像日本的糖果公司UHA推出了《puccho an 4D googles》，是橋本環奈餵你吃糖的影片，結合機械手臂創造出被餵食的體驗，果然是日本～
感官衝突與缺失
VR透過頭上和手上的裝置給予感官刺激，難免會有一些無法模擬、不符合真實物理的情境。這些感官衝突或感官缺失，會造成我們生理上的不適，或是心理上的出戲(失去沉浸感)，如果觀眾還沒看懂內容就感到頭暈想吐或想放棄的話，那會嚴重影響作品體驗。因此會特別留意操作上的UX設計，尤其是人因工程(Human Factor Engineering)中的生理人因部分。
VR動暈症 VR Motion Sickness
最常見於視覺與平衡覺的感官衝突：例如許多體驗都要在虛擬世界中移動，但使用VR設備是在有限大小的空間，虛擬世界的內容是無限大的世界。所以勢必得用走路以外的方式來移動(locomotion)。當移動設計得不好時，就會造成motion sickness。移動的設計也是VR體驗常遇到的題目。
感官缺失
其實只要故事做得不好或畫面不夠精緻就很容易出戲(誤)，但這裡要談的出戲不是認知上的，而是身體上的感官體驗無法滿足的情形
- 沒有追蹤到——本體覺有，視覺沒有
因VR的身體追蹤技術有限，除非穿戴全身式的motion capture設備，否則手部操作往往不夠逼真。若拿控制器的情形，手腕到手肘的位置經常是錯的，在有些需要整隻手臂的互動情境（例如爬行、扶握）尤其明顯，或是像手指的微動作(micromotion)
2. 視覺成像品質不佳：不夠立體 / 紗窗效應
不是所有VR都是立體成像(Stereo)的，有許多360影片都是單眼(mono)成像的作品(要錄360影片的攝影機就有難度了，還要兩倍的360!)，且畫質至少要4K以上才不會過於鋸齒。紗窗效應（Screen Door Effect）則是因為離螢幕太近的關係，會看到畫素之間的間隙，讓畫面看起來像是馬賽克般的效果。
3. 物件穿透——視覺看到，觸覺沒有
在虛擬世界中碰到物件時，但現實世界因為沒有真的感受到觸覺，會有撲空、踩空的感覺。尤其是桌椅或牆面這種會抵著的物件。
再來談VR的其他硬體產品規格，究竟差別在哪裡？該怎麼挑選/比較？我個人認為差在自由度(DoF)、空間追蹤方式、運行平台(作業系統)、互動性，這邊先談前面三者就好（篇幅要爆炸啦～）。
操作自由度（DoF）
再來談VR的操作自由度，自由度即Degree of Freedom，一般來說現實世界是6DoF，包含三軸的平移與三軸的旋轉。
3DoF vs. 6DoF
3DoF是只有追蹤旋轉運動的情況，通常由於缺乏空間定位系統，所以無法追蹤位移，如上圖左。
而對使用者來說主要是應用情境的差異。3DoF的應用情境主要是無互動性的觀看，像是360影片、VR電影、觀眾會被動移動的情境、或簡單互動（Gaze Input）的體驗。6DoF主要是會需要更高互動性的情境，例如需要額外的輸入設備、空間定位、動作遊戲等。
空間追蹤技術：Inside-Out vs. Outside-In
為了實現6DOF，需要空間追蹤的技術，根據原理主要可分成Outside-In跟Inside-Out兩種。
Outside-In
透過外部的定位器(Base Station)打出射線，來定位出頭顯的位置，這樣的方式優點是定位是全域的、比較不容易受鏡頭死角遮蔽所影響、精確度通常也較高（但現在兩種技術都可以做到很高的準度），且可以結合外部裝置，像HTC Vive的Tracker。但相對來說設備架設成本高也較麻煩。
Inside-Out
透過HMD上的鏡頭即時拍攝，一邊建立環境資訊一邊定位自己目前所在的位置，被稱為SLAM(Simultaneous localization and mapping, 同步定位與對應)技術。這種定位技術的優點是不須架設額外的定位器，簡易方便。缺點是較容易受到環境（如光源）影響，不同的電腦視覺技術定位效果也不同（但現在準度都還滿高的）。
運行環境:Tethered 接線 vs. Standalone 獨立運作
簡單一句話總結是需不需要額外的電腦設備，詳細的話：
連接電腦(Tethered)
又稱為PC VR，因為使用VR時需要大量的運算資源，而大量運算會帶來電力的消耗，接電腦的好處是可以直接拿電腦的運算力和電力來使用，且連接電腦之後，VR頭顯可單純拿來當顯示，設備更新、環境設定、執行VR程式、儲存…等繁瑣的操作，都可以透過電腦的環境處理，因此也不需要額外的作業系統。但對電腦的運算效能也有最低要求（尤其是顯卡），且買主機的錢可能就是買VR的錢再加一倍。
獨立運作(Standalone)
就是一體機，可以省去接線的麻煩、省去添購電腦主機的錢，買來幾乎就可直接使用。不過相對來說就是運算效能較差，有些3A大作可能會無法體驗，記憶體容量也有限，跟手機一樣放滿了就要開始刪東西。
底下用一個表格來快速做A/B比較：
＊這邊提醒，像HTC Vive和Cosmo系列有推出無線模組，雖然說是無線，但因為仍透過電腦運算，只是傳輸方式從有線改成無線，所以一樣是Tethered，且無線模組需要外接行動電源供電哦。
後記
上一篇文章寫得比較發散，從人文角度談了對VR的想像，這次從工程師與認知科學的角度出發，讓大家得到比較全面性的理解。下一篇VR入門<下>將會討論互動性、開發環境和市場應用。
若你覺得這篇文章有幫助到你，或希望鼓勵作者寫出更多好文章，請不要吝嗇給我一些拍手～
