真正的尖端技術:Proprio 融合人工智慧、虛擬實境、電腦視覺等技術,以精準進行手術

作者 Nicole Castro

Proprio 使用有著 Quadro RTX 支援的電腦視覺、機器學習和虛擬實境,為手術室中的外科醫生建立 3D 沉浸式視覺化系統。

西雅圖的新創公司 Proprio Vision 表示自家融合人類視覺與電腦視覺的技術,是當今最尖端的技術,他們一點也不是在開玩笑。

成功的手術要靠著醫生靈巧的手,也得能夠看得清楚手術視野。這就是外科醫生在手術過程中要依靠多種技術或設備,例如配備放大鏡的眼鏡、手術顯微鏡、導航顯示器和 X 光機來引導他們的原因。

但是每個獨立的設備無法相互傳遞資訊或串連,每一件設備只能讓外科醫生看到某個單一畫面,醫生只好在準備和進行手術的過程中頻頻切換設備。

Proprio Vision 融合了人類視覺和電腦視覺,使得外科醫生可以透過沉浸式高畫質的 3D 畫面,更清楚全面掌握手術視野。

Proprio Vision 把多台體積龐大且價格昂貴之設備的功能,濃縮到一台光場拍攝渲染系統內,又不喪失各設備的成像功能。

Propio 的系統在 NVIDIA Quadro GPU 的助力下拍攝手術視野,將視野影像與術前影像相融合,建立外科醫生能夠即時使用的互動式 3D 視覺化內容。

Proprio 執行長 Gabriel Jones 說:「醫生不用一一查看多個螢幕,或是從多台機器處才能獲得所需要的資訊,我們這台搭載 NVIDIA GPU 的系統讓他們可以即時掌握精準的視覺畫面。」

用於精準進行手術的 3D 影像技術

Proprio 使用最新的 Quadro RTX 6000 GPU 及其它產品,執行多模態影像渲染和配準、影像處理和校正、3D 幾何重建與 CT 分割等任務。

Proprio 藉由 Quadro GPU 的速度和性能,得以開發出一款光場攝影機陣列和影像處理流程,能夠拍攝高畫質的 3D 立體手術視野,並且能對任何一處放大畫面和重新對焦。

Proprio 自行開發出的演算法可以渲染出和串流傳輸生動的 3D 影像,並且與術前拍攝的 CT 及 MRI 掃描內容進行融合,即時更新組合後的畫面。其中還加入了機器學習功能,以便進行 CT 分割、光場陣列校準、深度估計與追蹤用戶運動分析。

外科醫生有了這項技術後,就能戴上 VR 頭戴式裝置,透過將畫面放大到顯微鏡的程度來查看人體組織和觀察細節,在進行手術的過程中流暢地進行操作。

Propio 的系統還能用於培訓未來的外科醫生,這項技術使得醫生能夠在虛擬環境中熟悉工具、學習新技能和模擬手術過程。

Proprio 捨棄先前使用的 CPU 架構,改採用 GPU 進行渲染,以便獲得即時進行視覺化作業所需的速度和效能。從 NVIDIA Pascal 升級到 Turing 架構後,Proprio 看到各項運算作業的效能皆有所提升,包括幾何估算的性能也提高了三倍。

「Proprio 的系統加上 Quadro RTX 的強大速度及實力,讓外科醫生能夠在不受到任何干擾的情況下,把注意力放在他們最擅長的事情上,且用最自然的方式來進行。」Jones 說。

Proprio 持續與西雅圖兒童醫院、華盛頓大學醫學院及其它研究醫院的神經外科和整形外科醫師合作開發這項技術。

深入瞭解將 NVIDIA GPU 用在醫療保健領域的情況

11月在 GTC DC 大會中,Jones 將介紹 GPU 如何為外科手術工作流程掀起革命浪潮,以及 Proprio Vision 如何運用 NVIDIA 的技術來改善外科醫師在手術室中的工作流程。

立即報名參加 GTC DC 大會。