人工智慧手舞足蹈:看看這個日本舞團在舞台上怎麼跟人工智慧搭配的天衣無縫

作者 Isha Salian

人工智慧近年來已向世人展現出豐富的創作才華,從作曲、寫故事,再到創作表情包,如今人工智慧模型又準備好走上舞台,向各方介紹它在表演藝術方面新的天分。

在由日本舞團創作的《discrete figures》舞碼裡,將一名人工智慧舞者的影像投射到舞台上,並且與現場一名真人舞者雙雙起舞。在這場秀裡還展示了一套部分經過訓練的神經網路,使用觀眾們的舞步錄影內容當成輸入資料。

日本數位藝術團體 Rhizomatiks、多媒體舞團 Elevenplay,加上媒體藝術家 Kyle McDonald 共同創作出這齣舞碼,去年曾在加拿大、美國、日本和西班牙演出。

人工智慧手舞足蹈的幕後花絮

McDonald 是一名有著技術背景的藝術家,從2010年開始便一直跟舞者共同創作視覺體驗,他表示他們的精神是「玩弄真實與虛擬空間之間的界限」。擁有壬色列理工學院電子藝術碩士學位的 Kyle McDonald,曾任紐約大學蒂施藝術學院(Tisch School of the Arts)兼職教授一職。

McDonald 為了製作《discrete figures》舞碼,對即興按照不間斷節奏進行創作的八位舞者,收集了長達2.5小時的動作捕捉資料,並且使用 NVIDIA GPU 將這些訓練資料輸入一個名為 dance2dance 的神經網路,這套神經網路產生的動作可以渲染為簡單的 3D 線條人物圖案。

     在以下的影片截圖裡可以看到投影出的人工智慧舞者與 Maruyama 共同站在舞台上。   

在人工智慧舞者與真人舞者 Masako Maruyama 進行雙人舞之際,人工智慧舞者的影像重疊在舞台上的 3D 人體上,似乎漂浮在 Maruyama 的旁邊。一開始它是一個銀色輪廓,後來才慢慢具體化成為 Maruyama 的分身。

投影出的人工智慧舞者先是執行由神經網路預先產生出的舞步,再切換成由舞團編舞師 Mikiko 設定的動作。Maruyama 與人工智慧舞者雙方舞步一致,直到她離開舞台,投影出的人工智慧舞者再度變成銀色輪廓,跳著人工智慧產生出的舞步。

(影片)

人類創造的舞步與人工智慧產生的舞步,兩者間的相互作用與《discrete figures》舞碼的主題相互呼應。

「我想觀眾會開始問更多關於哪裡才是人類意圖殞落、哪裡又是開始進行自動化的問題。等到演算法開始掌理一切,從我們消費的東西到我們表達自己的方式時,似乎便是適合問這個問題的時候。」McDonald 說。

觀眾走上舞台

discrete figures》舞碼裡還能見到由 NVIDIA Research 開發的 pix2pixHD 演算法,邀請觀眾參與演出。

在每場表演打開大門和開始演出之間,有十六名年齡不一及舞蹈經驗不一的觀眾會進入一個小房間,在黑色背景前拍攝一分鐘的舞蹈動作。每段跳舞的影片會被送到雲端的一個 NVIDIA GPU,以便估算舞姿和從頭開始訓練 pix2pixHD 演算法。

在只花了十五分鐘進行訓練後,pix2pixHD 演算法已經為單支同步舞蹈產生好了輸出影片。等到節目開始,McDonald 已經將這十六支人工智慧建立的影片剪成拼貼畫面並加上音樂,用於演出中投影在布幕上。

     在這支舞碼裡還展示了由經過部分訓練之神經網路所產生出的影片拼貼畫面,將觀眾跳舞的錄影畫面當成輸入資料(圖片由 Kyle McDonald 提供)。

McDonald 在介紹這項企畫案的 Medium 貼文裡寫道,使用觀眾跳舞的錄影畫面讓參與者能夠體驗到「機器重新想像他們跳舞動作資料」是什麼樣子。「整個表演有著一貫主題:見到機器反映出你自己的人性,而你也反映出機器的特性。」

在《discrete figures》舞碼裡還能見到主創團隊發揮豐沛創意,運用 3D 點雲和產生出之舞者的骨架模型來呈現出神經網路的原始資料。

「我們只花了十五分鐘進行訓練,看到 pix2pixHD 演算法半完工的外觀時,我們覺得在舞台上呈現一部分的訓練過程,似乎是個不錯的作法。這十五分鐘的訓練真正抓住了表演裡的某些主題,像是人工智慧的出現,還有數位與實體環境間的模糊界限。」McDonald 說。

(影片)