這不是口袋科學:Hackathon 參賽大學生創造應用程式來評估居家物理治療鍛鍊

PocketPT 應用程式使患者可以藉助 NVIDIA Jetson Nano 檢測鍛煉姿勢是否正確,從而改善在家中的理療效果。

作者 NVIDIA

4 名大學生在 Stanford TreeHacks 黑客松上一見如故,成為密友,並在短短 36 小時內共同開發了一款 AI 驅動的應用程式,幫助理療患者以正確姿勢在家中鍛煉。

早在二月份, Shachi Champaneri , Lilliana de Souza , Riley Howk 和 Deepa Marti 碰巧在活動開幕式上碰面,幾乎立刻決定組隊參加比賽。

她們共同創造了 PocketPT ,一款可幫助理療患者以正確姿勢在家中鍛煉的應用程式, PocketPT 在一個參賽者眾多的領域斬獲兩項大獎,這激勵了她們繼續使用 AI 幫助他人。

下圖為該應用程式的 AI 模型正在藉助 NVIDIA Jetson Nano 開發者套件,檢測使用者是否準確的做出有助於增加肩部肌肉力量並改善平衡感的樹式姿勢。 Jetson Nano 還可以進行圖像分類,如此一來, AI 模型就能夠根據 100 多幅由團隊自己拍攝經過訓練的圖像,判斷用戶姿勢是否正確,然後再提供反饋,讓用戶了解是否需要調整姿勢。

Howk 說:“對患者來說,經常求助理療師無論是在經濟上還是身體上都是一種負擔。”

她解釋說,在家中繼續鍛煉是理療患者康復的關鍵,但不正確的鍛煉實際上可能會影響患者康復。

從想法到現實

在黑客松開始前的幾個月裡,即將升入阿拉巴馬大學的高中生 Howk 正在洛杉磯實習,那裡的瑜伽館幾乎遍布各個角落。她帶著開發某種瑜伽應用程式的想法來到比賽現場,但是直到其團隊在黑客松贊助商展會上巧遇 NVIDIA 展位時,她們才意識到這個想法還有深入挖掘的潛力,能夠幫助更多有需要的人。

加州大學戴維斯分校( UC Davis )二年級新生 Marti 說:“ Jetson Nano 的演示展示了該系統如何從上到下地追踪身體運動。這就賦予了該計劃開發理療應用程式的可能性,而非僅限於瑜伽。”

在此之前,由於團隊成員沒有深度學習和電腦視覺領域的工作經驗,因而她們面臨著如何在短時間內學習操作模型的挑戰。

加州大學戴維斯分校大三生 Champaneri 說:“NVIDIA 的導師們真的幫了我們很多。她們編纂了一份有關如何使用 Jetson Nano 的教學指南,為我​​們提供了正確的立足點和框架,使我們得以跟著做並完成這個想法。”

在黑客松的第一天晚上,該團隊就參加了 NVIDIA 深度學習機構 8 小時免費課程 。由此,她們掌握了深度學習的基礎知識。第二天早上,她們開始對模型進行調整和訓練,並用自己拍攝的圖像展示正確與錯誤的鍛煉姿勢。

在這個想法產生 36 個小時後, PocketPT 就誕生了。

獲獎之外,實現更大使命

Howk 表示,週末最激動人心的部分就是發現自己的團隊成功進入決賽。她們在 500 名觀眾面前展示了自己的計劃,並最終斬獲兩項大獎。

黑客松共吸引了 197 個計劃。經過與 Medical Access 類別其他 65 個計劃 – 其中許多採用了雲端運算或其他平台進行角逐,她們的計劃獲得了該類別的最高獎項。並且在其他 11 個採用 Jetson 進行開發的團體計劃中脫穎而出,獲選為“ Best Use of Jetson Hack ”。

但是,這個團隊希望利用她們的應用程式做更多事情,而不僅是贏得獎項。

由於黑客松的快節奏特性, PocketPT 僅能完全實現一個姿勢,其他姿勢仍在開發中,該團隊將繼續完善其產品並努力實現“讓所有人都能實現輕鬆理療”的使命。

雖然黑客松在美國新冠疫情爆發前舉辦,但是這個團隊強調了她們的計劃現在似乎越來越具有實用價值。

西北大學( Northwestern University )的大三生 de Souza 說:“我們甚至沒有意識到我們正在開發順應未來趨勢的東西,那就是遠端醫療。我們正在創造 PT 家用版本,這也是為了滿足目前的需要。這個計劃絕對值得我們繼續花時間加以完善。”

Jetson 社區計劃 頁面上了解其他 Jetson 計劃,並在Jetson 論壇 頁面上結識其他開發人員。

Jetson 開發人員 頁面上了解如何開始自己的 Jetson 計劃。