VR、AR 與 MR,三者間到底有什麼差別?

作者 Scott Martin

起床、刷牙、穿上褲子,接著去辦公室上班。這是現實生活。

現在,想像一下你可以扮演《鋼鐵人》裡的東尼.史塔克,或是《蝙蝠俠》裡的小丑。這是虛擬實境。

虛擬實境(VR)技術的進步使得人們能以前所未有的方式,在電腦產生出的環境裡進行創作、玩耍、工作、合作與探索等活動。

VR 技術已經發展了數十年,近年來才在娛樂和商業市場裡快速增長。

現在你在腦海裡刻畫一個英雄,然後幻想它出現在你目前身處的房間裡。這是擴增實境。

擴增實境(AR)是另一項開發了數十年卻一夕爆紅的技術。原本在日本只是一款兒童間流行的卡片交換遊戲,紅遍大街小巷的《精靈寶可夢 GO》(Pokemon Go)卻誕生出一票將遊戲裡的精靈與真實世界融合在一起的遊戲。

還有另外一個跡象表明 AR 技術的興起:Apple 在2017年為開發人員推出打造行動 AR 內容的 ARKit,鼓勵各企業為 iOS 11 製作 AR 內容。

微軟的 Hololens 與 Magic Leap 的 Lightwear,皆讓人們能與全像攝影內容進行互動,是引領頭戴式顯示器發展的兩大重點。


Magic Leap 的 Lightwear 頭戴式顯示器

這不只是一項有趣的小玩意,還是一筆大生意。IDC 的研究人員預測全球 AR 與 VR 產品和服務市值,將從2017年的114億美元大幅增加到2021年的近2150億美元。

就像是已經蓬勃發展的 VR 和 AR 技術,混合實境(MR)也在快速發展。使用 MR 技術的開發人員將 VR 與 AR 的品質與真實世界相互融合,提供綜合兩者的體驗。

現在,想像一下另一個虛擬實境的情境:瞬間把你傳送到夏威夷的沙灘椅上,腳下的沙子、手中的邁泰雞尾酒,又傳送到不同的島上,還不用坐在經濟艙的狹小座位裡。不過你真的人在夏威夷嗎?

在混合實境裡,當你實際坐在飛往夏威夷之航班的經濟艙座椅上,移動身體時椅子會吱吱作響,就像是坐在沙灘椅上;從真正的空服員接過一杯邁泰雞尾酒,還有摸到地板上的沙子,創造出猶如身處沙灘般的感受。在飛往夏威夷的過程中,就像是真正來到夏威夷,而這就是 MR 的一個例子。

VR 簡介


Sensorama 遊戲機

在1930年代的文獻裡,便可以瞧見 VR 的概念。在1950年代,電影製片人 Morton Hellig寫出了一種「體驗劇場」,後來他製作出一款名為「Sensorama」的沉浸式遊戲機供人遊玩。1968年迎來了開創性的時刻,Ivan Sutherland 因開發首具頭戴式顯示器而獲獎。

自此之後出現了極大的變化。在光學、追蹤與 GPU 效能方面的技術有所突破,推動消費級 VR 頭戴式裝置出現大幅進步的局面。

在過去幾年裡,Facebook Oculus、HTC、Samsung、Sony 及其他多家業者紛紛推出新款頭戴式顯示器,提供更佳的 VR 體驗,使得消費者對虛擬實境技術更有興趣。為人們創造出電腦生成的 3D 畫面沉浸式環境,不單只是靠著帥氣的 VR 眼鏡而已。

到目前為止,主要已經克服的障礙包括每秒提供足夠的幀數和降低延遲情況(用戶移動頭部時產生的延遲情況),產生出不會卡頓和造成數位動暈症的體驗。

VR 有著最嚴格的圖形處理需求,較 PC 遊戲的要求還要高出七倍。要是少了高速 GPU 來提升產生畫面的速度,便無法創造出目前的 VR 體驗內容。

軟體也是其中的一大要角,像是 NVIDIA VRWorks 軟體開發套件可幫助頭戴式顯示器與應用程式開發人員,獲得 VR 所能提供的最佳效能、最低延遲性及即插即用的相容性。VRWorks 已納入 Unity 和 Unreal Engine 4 等遊戲引擎。

可以肯定的是,VR 還有很長的路要走,才能徹底發揮它的潛力。目前人的肉眼仍能看出虛擬實境渲染畫面的缺失之處。


視覺輻輳調節衝突(vergence-accommodation conflict),《Vision》期刊

部分專家表示,VR 技術的效能若在十年內出現200倍的躍升,就能在超過人類認知的水準下執行,與此同時,NVIDIA 的研究人員正致力於改進體驗

一種稱為 「注視點渲染技術」(Foveated Rendering)的方法,可以降低傳送到視網膜邊緣的影像畫質(視網膜邊緣對影像畫質的敏感度較低),同時提高傳送到視網膜中心的影像畫質。這項技術與眼動追蹤兩相搭配,可以將需要呈現最清晰影像的觀看區域告訴處理器。

VR 的技術障礙

  • 每秒幀數:虛擬實境技術每秒得處理90幀的畫面。原因在於較低幀速會使得人眼感覺到動作延遲的情況,而使得部分用戶會出現噁心的情況。NVIDIA GPU 提高渲染速度,讓人眼察覺不出,而產生出 VR 畫面。 
  • 延遲性:VR 延遲指動作啟動與電腦重現視覺回應間的時間跨度。專家表示 VR 的延遲速度應為20毫秒以下。提供 VR 頭戴式顯示器與遊戲開發者的 NVIDIA VRWorks SDK,有助於解決延遲性的問題。
  • 視野:在 VR 裡必須創造出臨場感。視野是指從特定 VR 頭戴式顯示器看出去的視角,像是 Oculus Rift 頭戴式顯示器的視覺為110度。
  • 定位追蹤:為了讓觀眾有身臨其境的感受和提供良好的 VR 體驗,必須在空間裡以不到一毫米的精度追蹤頭戴式顯示器。這是在任何時空環境裡顯示影像的最低門檻值。
  • 視覺輻輳調節衝突這是當前 VR 頭戴式顯示器在觀看方面的問題。問題在於:你的瞳孔採用「輻輳」的移動方式,代表聚焦時會彼此看向同一個方向或不同方向。與此同時,眼睛的水晶體會對焦在一個物體上,或是進行調節。在 VR 眼鏡裡的 3D 立體影像畫面會對眼睛產生不自然的輻輳和調節衝突,而使得眼睛疲勞和不適。
  • 眼動追蹤技術:當前的 VR 頭戴式顯示器尚且無法精確追蹤用戶的眼睛運動,以便運算系統對人眼注視的區域做出更好的反應。增加眼動區域的解析度有助於提供更好的觀看效果。

VR 經歷了數十年的漫長發展,已在通過好萊塢的電影造成轟動,比如日前上映的 《一級玩家》,並且在遊戲、電視、房地產、建築、汽車設計及其它產業獲得不少支持者。

分析師預測未來幾年 VR 在企業端成長速度,將超越消費端持續成長的動力。

AR 簡介

AR 技術的開發時間已有數十年。多數早期的研發工作都是由麻省理工學院媒體實驗室等大學及 Thad Starner 等先驅者帶領進行(Thad Starner 現為 Alphabet 公司 Google Glass 智慧眼鏡的技術部門主管,他還曾在開發初期穿著連接到 AR 眼鏡的笨重電池腰帶)。


Google Glass (2.0)

曾被視為時尚災難又命運多舛的消費性 Google Glass,後來重新塑造為用於倉庫和製造業的低調輔助性技術,員工使用 Google Glass 來觀看訓練影片和取得同事的實作協助。

AR 技術早已跟低成本攝影機和螢幕技術進行整合,用於廉價的自動調光焊接面罩,讓人們在燒融鋼材的同時又不會燒傷眼睛。

AR 技術將進軍商業領域。想想在進行工業操作之際,無需運用雙手便可在 AR 環境裡加入實用資訊,就能輕鬆明白箇中原因。

用於擴增智慧的智慧眼鏡當然支持上述場合。搭載微型顯示器的 AR 眼鏡就像是個不可或缺的同事,在必要時可以伸出援手。工作是否能順利完成,AR 眼鏡可是個關鍵要素。

想像一下一名重型設備技工菜鳥,緊急被派去一處工地維修大型牽引機。老闆給了他一具 AR 眼鏡,讓他無需用手翻動維修手冊,就能看著眼鏡裡顯示的畫面進行維修。

部分智慧眼鏡還搭配了 Amazon 的 Alexa 服務,可以用語音查詢各種資訊,不用手忙腳亂地翻找智慧型手機或是點擊眼鏡的鏡腳。

黃仁勳在 GTC 講述 VR

目前將 AR 用於消費端的商業範例,包括 IKEA 的 Place 這款 app,讓用戶能使用智慧型手機查看將家具和其它商品的影像重疊到實際住家環境裡的樣子。

目前 Sony、Epson、Vuzix、ODG 及 Magic Leap 等新創公司皆有推出多款智慧眼鏡。

NVIDIA Research 團隊將持續增進 AR 與 VR 體驗。在 NVIDIA GPU 技術大會的 VR 演示活動裡提供有多項體驗活動。

MR 簡介

企業對 MR 寄予厚望,它可以呈現出幾乎無限制的各種虛擬體驗,像是即時通知用戶、實現協同作業和解決實際問題。

現在想像一下前述的那名重型設備技工菜鳥,身處大型牽引機的深處,完全不知道該怎麼解決機械問題。駕駛員呆坐著無法工作,工地主管則是焦慮不已。

好險這名技工的智慧眼鏡可以開啟虛擬協助連線,讓他能透過 VR 技術跟資深技工連上線,使用模型來帶領排除實際牽引機的故障情況,同時利用 AR 取得線上維修手冊,以拿到扭矩規格和其它詳細保養資料。

那便是混合實境。

想想將 IKEA 的 Place app 用於觀看把家具放在家中的樣子,就是將 MR 用在消費端的情況。你想買一張亮紅色的沙發,又想在購買前聽取親友對把沙發放在客廳裡的意見。

所以你使用智慧眼鏡進行虛擬實境對話。想像一下在 VR 環境裡透過 IKEA 的 Place app 邀請這些親友。不過他們得先坐在任何一張沙發上,等到大家都坐好後,便進入你家的虛擬空間裡,沙發是紅色的,就像是 IKEA 賣的那一款。

看吧,在混合實境的虛擬展示間裡的這群人做出了決定:你的親友們都愛這張沙發,所以你決定要買下來。

對於企業來說,這帶來無窮的可能性。

尚在起步階段的混合實境技術,或許是 VR 與 AR 各大開發商夢寐以求的聖杯。Apple、Microsoft、Facebook、Google、Sony、Netflix 及 Amazon 等業者都提出各種選擇,原因在於 MR 可以配合諸多娛樂和商業環境,將此時此地的現實融入虛擬實境與擴增實境的環境。

以這個為例:汽車設計師可以坐在有著扶手、排檔桿和方向盤的實際汽車座椅上,並且傳送進入 VR 連線裡,看到車輛的儀表板和內裝。多人可以藉由這種方式從遠端來評估設計。NVIDIA Holodeck 其實就實現了這一類的協同作業。

扣好安全帶,我們準備上路。