GPU 的新創故事:SoftKinetic 如何將「手勢交談 (Talk to the Hand)」發揮得淋漓盡致

作者 Gary Rainville

「手勢交談 (Talk to the Hand)」。SoftKinetic 是一家以姿勢技術為基礎的新創公司,透過讓人們能利用雙手、以及身體其他部位來與他們的電腦與電視溝通,這家公司正將這句短語發揮得淋漓盡致。

SoftKinetic 是一家總部位於布魯塞爾的技術公司,目前在矽谷及韓國設有辦事處,隨著該公司已將相關技術授權給主要 OEM 廠商,消費者未來將有機會使用到這些技術,這家公司的能見度也將大幅提升。在此說明原因何在。

該公司的核心技術之一就是 3D 影像感測器,它使用一種被稱為「飛行時間 (time-of-flight )」的專業技術,可以計算場景中每一個點的距離。這個感應器可以藉由測量光線在場景中到達及返回每一個點所需花費的時間,進而全面性地在 3D 場景中映射每一個像素。

SoftKinetic 也開發一款軟體,可以用來分析由它自己或是其他廠商製造的 3D 攝影機所產生的資料 — 其中包括立體及結構光 (structured light) 攝影機。


SoftKinetic 的 DepthSense 325
攝影機最近獲 Creative Labs 決定採用。

將這些結合在一起,你就可以得到一個看起來有些類似網路攝影機的小型攝影裝置。一旦與筆記型電腦連結,它立刻就會將個人電腦變身為一台可以感知、以手勢為基礎的體驗裝置。

如此你將可與它進行互動、開啟檔案、攫取物體,以及執行更多動作 — 而這一切全依靠你的手即可做到。這台攝影機不是要取代鍵盤與滑鼠,而是與它們相輔相成。在打字的中途舉起你的手,這時個人電腦會立刻開始「聆聽」你的手指或是手要說什麼。

這款攝影機也可以被整合進筆記型電腦或是電視的邊框中,所以觀看者的身體可以用來輔助遙控器。這也可以被運用在休閒、全身性遊戲、以及為病人提供的復健治療中。


嵌入電視中,使得 SoftKinetic 攝影機可以在過濾掉背景之後來追蹤玩家的動作。

可用於主導未來的運算裝置平板電腦中嗎

為了使用 GPU 的威力,SoftKinetic 已經將它的現有演算法調整至適用於運行 Android 系統、以 NVIDIA Tegra 處理器為基礎的平板電腦。今年稍早,在 NVIDIA 的新興企業高峰會 (Emerging Companies Summit) 上,它們展示了在平板電腦上運行的 3D 攝影機,最近更運行在 NVIDIA SHIELD 上。這樣的結果是非常驚人的,它有著像是遊戲機等級的手勢體驗,但卻是在小了許多的裝置上進行,就如以下的影片所展示一般。

根據 SoftKinetic  執行長 Michel Tombroff  的說法,對這項技術而言,GPU 的潛力不僅如此。現今大多數攝影機的解析度都很低 — 最高僅到 VGA 等級。隨著解析度的增加,運算變得更加密集,這也就是 GPU 變得更忙碌的原因所在:必須使用許多重複的演算,才能從影像中得到細化後的測量值及擷取圖案。這些必須要能夠平行處理,否則主要的處理器將無法跟上。

追蹤手指及身體其他部位的特定運動是很難做到平行處理的,也因此不容易進行加速。然而,過濾每一個像素以及移除不需要的偽影是一項非常運算密集的任務 — 而這就是 SoftKinetic 在進行 3D 影像處理時最大的工作負擔。

在未來,期待 SoftKinetic 也能將技術應用在手機與平板,以及汽車之類的嵌入式裝置中。從汽車的後照鏡或車頂往下看,這種攝影機將可密切注意駕駛者的位置,進而進行測量,例如當有人打瞌睡的時候,就可以派上用場。它也可以透過駕駛者的手部信號,來對汽車的導航與控制有所幫助。無論如何,以某種方式,未來我們的雙手也能說話。