什麼是「空間運算」?Apple Vision Pro背後的黑科技與它的前世今生

什麼是「空間運算」?Apple Vision Pro背後的黑科技與它的前世今生
2015年,美國擴增實境公司Magic Leap釋出影片,說明空間運算的概念及運用。圖片來源:截自Magic Leap影片
2023-06-21
文、圖・Josh Naylor(HTC VIVE開發者關係主管,曾任職Magic Leap和Unity)
22858
隨著Apple Vision Pro發表,「空間運算」(Spatial Computing)似乎一下躍進大眾的視野。

事實上,這個詞並不新鮮,它已經在科技圈存在了好一段時間。2015年,美國擴增實境公司Magic Leap釋出的概念影片就曾展示這樣的未來,它曾是歷史的一刻——機器人穿牆而出,鯨魚從健身房一躍而起,把大象放你的手掌心⋯⋯空間運算曾經造成巨大的熱潮(和$潮)。

這幾年來,「延展實境」(XR)領域出現過許多術語;比方微軟Hololens使用「混合實境」(MR),而HTC和Meta現在也都以「MR」作為「全彩穿透模式」的術語。至於「空間運算」,則被XR產業暫時晾在一旁,偶爾才會被少數人提及。

我的觀點是,MR描述了硬體本身的能力,比方視覺、聲音、鏡頭,以及感測器,但我不認為它能準確描述我們實際與內容互動的方式。這就是為什麼比起「混合實境」,我更喜歡「空間運算」的原因。

延展實境-XR-VR-AR-空間運算-科技-Apple-蘋果延展實境(XR)包含許多熱門術語,包括AR、MR到VR。

空間運算是什麼?

「空間運算」最早是由格林伍德(Simon Greenwold)提出並且定義。他在2003年麻省理工媒體實驗室(MIT Media Lab)的碩士論文裡如此描述:「空間運算是指人類與機器之間的互動,機器能記住和操作真實物體和空間相關的資訊。這種技術能讓機器更完整地成為我們工作和娛樂的夥伴。」

空間運算第一次以視覺化的方式公開呈現,是在2009年Albert Hwang發布探索3D空間人機互動(HCI)的三支YouTube影片。當然,以現在的眼光來看,13年前的視覺效果並不好,但無損它在設計和理論的貢獻。

2009年,Albert Hwang的空間運算新典範。

空間運算的關鍵概念,在於硬體裝置如何掃描和理解環境,並讓使用者感覺到數位內容全都嵌入並根植於物理環境之中。透過電腦視覺(人工智慧的一種類型,使電腦能解釋和分析視覺世界,並模擬出人類可感知與理解的環境),常見的概念像是:

  1. 網格化(meshing):指的是硬體裝置掃描並理解其周圍環境的過程,以便使用者感覺所有數位內容都嵌入並基於物理環境。
  2. 平面生成(plane generation):根據環境的平面和結構資訊,生成虛擬平面,用於在現實世界中放置可互動的虛擬物件。
  3. 語義理解(semantic understanding):指電腦了解和解釋物件和場景的含義,以更深入理解和適應使用者的需求和意圖。
  4. 共位功能(co-location features):指在虛擬和現實世界之間建立共位關係,使虛擬物件和現實物件能夠在相同的空間中互動和對應。
  5. 持續功能(persistence features):指虛擬物件在現實環境中保持穩定的位置和狀態,讓使用者可以進行長時間的互動和操作,不必擔心虛擬物件的消失或位置的改變。

空間運算-AR-XR-VR-Spatial Computing-科技-科技應用-智慧科技-蘋果-Apple-VIVE-後浪潮VIVE XR Elite透過深度感測器掃描房間環境。圖片來源:截自VIVE後浪潮影片

漫漫長路,直到現在

過去幾年,Hololens和Magic Leap不再是面向消費者的產品,逐漸轉向企業應用。主要是因為這些技術所費不貲,使它們難以普及。與Hololens和Magic Leap直接將光線投射在你的眼睛,或投射在距離臉幾吋遠的玻璃上的方式相比,HTC VIVE、Meta,以及其他虛擬實境頭顯採用的彩色鏡頭穿透技術——捕捉世界並透過顯示螢幕呈現給使用者看,是完全不同的取向。

VR的穿透方法,都定位自己是XR頭顯,通常忘掉了「空間運算」這個詞彙,但事實上,它們幾乎具備了相同的能力——掃描你的環境,為數位內容嵌入真實世界建立所需的網格。

在消費市場,XR應用主要聚焦於遊戲(尤其是Meta的一體機以及HTC/Valve的PCVR),即使Quest Pro和VIVE XR Elite都推出各自的彩色穿透/混合實境功能,消費者的接受度仍然不高——直到現在。 

空間運算-AR-XR-VR-Spatial Computing-科技-科技應用-智慧科技-蘋果-Apple-VIVE-後浪潮Hololens(左上)、Magic Leap(右上)、Quest Pro(左下)與VIVE XR Elite(右下)。

空間運算再度回歸!

終於可以來談談蘋果的Vision Pro了!從WWDC的展示來看,蘋果重新召喚了「空間運算」,把這個詞彙介紹給廣大的觀眾,並且把我們過去八年,在各個軟硬體上看到的使用案例,統統融合進了這個產品。

蘋果就是蘋果。蘋果一向擅長學習他人的經驗、錯誤,和成功,並將這些與他們自己設計和生態系統整合在一起。我相信,許多人都不感到意外,只是這看起來也太熟悉了,對吧?

magic leap os-空間運算-AR-XR-VR-Spatial Computing-科技-科技應用-智慧科技-蘋果-Apple-VIVE-後浪潮2020年的Magic Leap OS。圖片來源:Apple

wwdc-空間運算-AR-XR-VR-Spatial Computing-科技-科技應用-智慧科技-蘋果-Apple-VIVE-後浪潮2023年蘋果WWDC展示的使用範例。圖片來源:Apple

Apple Vision Pro的硬體本身固然令人印象深刻——高品質的材料、多個向內向外的鏡頭和感測器,當然還有單眼超過4K的高解析度顯示螢幕;但對我而言,蘋果所呈現的使用案例缺乏原創性,比方說一堆漂浮的2D視窗以及有限的輸入模型,都讓我感到有些失望。我希望能看到裝置本身真正的介面畫面,而不僅僅是高質感的渲染動畫。

嘿,我當然知道Apple Vision Pro還沒上市,我也不是來批評蘋果的。況且,大多數的消費者對其他人過去的創新可能一無所知,蘋果刻意用高概念和簡單的方式,展示它如何在日常中使用,也都能讓一般消費者快速理解。

不過,我十分驚訝的一點是——蘋果選擇了2D而不是3D。

比方,你可以掃描臉部生成虛擬化身來進行FaceTime通話,但蘋果卻以2D平面的方式來顯示,而不是立體3D。我以前曾在家中用Magic Leap的Spatial IO,透過完全3D的虛擬化身進行會議,那次是我感受過最彷彿置身在未來的體驗了。

空間運算-AR-XR-VR-Spatial Computing-科技-科技應用-智慧科技-蘋果-Apple-VIVE-後浪潮2020年,我和幾個同事用Magic Leap的Spatial IO舉辦虛擬會議。

我猜測,蘋果這次之所以比他們過往的產品都更早發布的原因(還有半年!),是因為要給開發者更多的時間,才能在2024年初之前,也就是Apple Vision Pro上市之時,提出更多原創的使用案例。(延伸閱讀|VR療法首次納入保險!減痛、復健都能用的VR技術,有哪些商業機會?

空間運算時代的到來

Meta、微軟、Magic Leap、HTC VIVE、Snap⋯⋯現在Apple也加入了,毫無疑問,空間運算和混合實境有著不可忽視的未來潛力。每個平台都會有細微的差異、優點、缺點,以及不同的價格帶。

你不需要等Vision Pro正式推出,即使我們仍然處於新時代的萌芽期,普遍和統一的互動方式也尚未成形,但你現在就可以開始在任何一個平台上,成為空間運算的建造者。HTC VIVE XR Elite也正在建造混合實境環境。

作為設計師、創新者,以及夢想家的我們,充分運用這些技術去創造令人驚嘆的作品,是我們的重責大任。如果你想了解更多關於空間運算設計的資訊,我在過去幾年收集了許多講座、部落格,以及各平台的文件,你可以在這裡找到。

蘋果自己也在WWDC開發者大會的各研討會中,公布了自家的設計指南和資源,你可以在這裡找到;另外,也有一些關於與Unity整合的研討會,你可以在這裡這裡找到相關的資訊。

感謝閱讀,祝福你在未來的設計工作好運!(延伸閱讀|如何用ChatGPT練習求職面試與提案簡報技巧?

慢著,那「元宇宙」呢?

我們對「元宇宙」並不陌生(畢竟連Facebook都改名叫「Meta」了),但蘋果在WWDC完全沒有提到這個詞,這是怎麼回事?

我覺得,這是一個很實際的決定!蘋果沒有把焦點放在「最終目標」,反而是透過空間網際網路,向大家展示達到目標之前的每個步驟。元宇宙並不是一個單一的狀態,而是下一代運算的各種形式的總和,包括我們如何與之互動——如何溝通、如何購物、如何工作、如何娛樂。

我們都知道,這是一個不可避免的未來,而蘋果也在一夜之間驗證了市場的可行性,並加入了網際網路3.0的競賽。未來很令人期待,不是嗎?(延伸閱讀|首爾新科市長花9億元,2026完工全球第一座元宇宙城市

(本文授權自VIVE後浪潮

其他人也在看

你可能有興趣

影音推薦

#廣編企劃|【2023 天下城市高峰論壇 #9】新竹市交通處長 倪茂榮:改善交通,必須先做出優良示範道路|天下雜誌✕未來城市

已成功複製連結