NVIDIA 的高中機器人實習生深入研探深度學習

作者 Crowd Favorite

年齡只是一個數字罷了。從最新一群 NVIDIA「Jetson」高中實習生花了八週的時間,使用深度學習和神經網路來打造機器人,或許未來你會看到這些機器人被用於 NVIDIA 聖塔克拉拉園區,這句話一點也沒錯。

這些來自當地高中的優秀學生將他們對機器人的熱情,帶到我們的嵌入式團隊,這支團隊專注於開發機器人和無人機等智慧機器。

我們將這些學生分為三組,要求他們使用 Jetson 平台來開發為商業設施執行多種功能的機器人,當然學生們要進行的工作並不只這些。Jetson 平台的實習生還能享受到美味的爆米花和甜甜圈,以及參加 NVIDIA 高階主管的演講系列活動。

他們用了數週的時間進行學習和團隊合作,其中也有著不少歡笑,製作出人形機器人、投影燈和 2D 雷射測距儀三個項目。

Neural Ninja 隊

Neural Ninja 隊的 Maddie Waldie、Nikhil Suresh 及 Jackson Moffet 為人形機器人開發程式碼,以辨識和回應揮手等手勢。該隊訓練了三百多個神經網路,以排除機器人意外誤判背景人物動作的情況。

Nikhil 說這個案子最難的部分是找到合適的神經網路,能夠辨識手勢又能忽略背景雜訊。在經過長時間進行反復試驗後,他們終於成功了,機器人現在可以辨識手語裡的「對不起」手勢、「X」的手勢是代表「否」、「Y」的手勢是代表「是」。機器人也可以說話和移動,包括做出輕拍的動作,讓不少路人感到驚訝。

Neural Ninja 隊

「一直進行訓練和取得新的資料,結果看到它並未達到預期效果,有時候實在很讓人灰心。不過終於建立起一個良好的神經網路時,大家都覺得很高興。努力終有回報,一切都是值得的。」Maddie 說。

CCCC(ForeSee)隊

CCCC 隊負責編寫程式,讓機器人避開複雜的障礙物。他們花了八週的時間學習如何串連電腦視覺與深度學習。

目前機器人常會被鐵絲網欄杆等一類的障礙物給卡住,反射或 2D 雷射測距儀等感應器無法偵測到這些障礙物。大部分解決方案都很昂貴,然而 Rahul Amara、Josh Hejna、Mokshith Voodarla 及 Anish Singhani 使用廉價的攝影機和深度學習開發出一項解決辦法。


CCCC 隊

CCCC 隊使用欄杆和樓梯等物體的圖片來訓練深度神經網路,設計程式讓機器人能在任何兩點間穿行,順利避開各種障礙物。

這項任務的難題在於設計兼具效率和準度的軟體。在 NVIDIA 開發平台的幫助下,四人成功找出優化這兩個參數的神經網路。

「在 NVIDIA 工作的優點之一,是能跟開發各項專案,且有著多年經驗的人員進行溝通。我們遇到問題時,都知道可以跟這些前輩交流學習。」Rahul 說。


GreenMachine 隊

由 Shruthi Jaganathan、Isaac Wilcove 及 Karly Hou 組成的 GreenMachine 隊,開發出一款搭載 Jetson TX2 的廢棄物分類機器人,會將剩菜、餐具和杯盤的放置處告訴 NVIDIA 的員工。


GreenMachine 隊

行動推車機器人的上方有具投影機,將派駐在聖克拉拉園區各辦事處的咖啡館。投影機會發出不同顏色的燈光,紫色代表可再生廢棄物、藍色代表可回收廢棄物、綠色代表可用於製作堆肥的廢棄物、橘色代表一般垃圾,並且告訴使用者要將這些東西放在哪裡。

Shruthi 說攝影機校準是這個案子裡最難的部分。感應器常會搞混投影機燈光的顏色,而難以偵測物體的紋理。舉例來說,塑膠盤上的紫色燈光可能會讓攝影機誤以為盤子可用於製作堆肥,不過該隊加入包括顏色在內的數百個影像來訓練神經網路,最後成功訓練出模型。

https://www.youtube.com/watch?v=30DHeeTRpGE

「我非常感謝 NVIDIA 給我兩年的實習機會,學到深度學習的一切知識。現在我明白自己未來就是要走這一行。」Isaac 說。

在 GitHub 上可以找到這些學生專案的詳細資料。