電影行家:人工智慧如何協助從影片資料裡猜測觀眾行為

作者 Tony Kontzer

在 whatismymovie.com 輸入「teenage angst」(青少年焦慮),搜索引擎會推薦《希德姐妹幫》(Heathers)、《養子不教誰之過》(Rebel Without a Cause)及《赤子本色》(The Basketball Diaries)等片。

改為搜尋「elephants」(大象)的話,便會推薦《小飛象》(Dumbo)、《象人》(The Elephant Man)及《上天下地大追擊》(Smokey and the Bandit II)(片中講述搬運一頭大象的故事)等電影。

whatismymovie.com 並非一般的電影搜索引擎,而是一項技術演示內容。它採用人工智慧演算法,結合自然語言理解與文字/模式辨識能力,以瞭解影片檔案的內容,而能以嶄新方式將查詢與結果加以配對,還有呈現過去搜尋不到的資料。

人工智慧影片新創公司 Valossa 的研發成果,成為在背後支持該網站運作的技術。該公司脫胎自芬蘭奧盧大學(University of Oulu),也是 NVIDIA Inception 計畫的成員。Valossa 的企圖心可不只是協助人們找到想看的電影而已,執行長暨共同創辦人 Mika Rautiainen 對於 whatismymovie.com 能為找到電影的人創造出什麼影響力一事,感到著迷不已

Rautiainen說:「人們可以靠著描述,找到忘記片名很久的電影。」

除了為電影迷與電影搭起鵲橋外,Valossa 還著重於運用該公司的技術來幫助媒體公司更深入瞭解其媒體資產,最終深入掌握影片如何影響著觀眾,像是銀幕出現某個演員時,觀眾們的情緒會怎麼變化。

最終此舉可能會造成隨著觀眾注意力減弱而隨時調整內容、出現更具娛樂性(和效果)的廣告,以及發行數位內容以獲取更大利潤。

「廣播電視業者與其它影片內容商能掌握到每秒鐘發生的情況,並且將這些資料與觀眾行為串連起來。這些業者不斷尋找各種可能的資訊,讓他們能通過內容產生更大的影響力。」Rautiainen 說。

不只是搜尋電影

Rautiainen 最早是在馬里蘭大學進行研究交換計畫時,開始研究「語義影片理解」這門課目。他當時是研究開發用於偵測影片內容中物體和活動(像是爆炸)的演算法,並且以標準化影片搜尋問題為基準來開發搜尋引擎。2010年,他跟其研究團隊開始與芬蘭國家廣播公司 Yle 合作,對廣播影片建立索引,讓這些影片可供搜尋和發現。

下一代機器學習與人工智慧開始在科學界興起浪潮之際,Rautiainen 便思考該如何將他的研究工作與新興人工智慧技術結合起來,接著成立一支研究團隊,便是 Valossa 的前身。他選擇落腳奧盧(Oulu),這裡曾是諾基亞的根據地,有著大批身懷長才的視頻工程師和電腦視覺研究人員。

Valossa 的首款產品 Valossa AI 是一款雲端服務,由在 Amazon Web Services 雲端環境裡運行的 GPU 叢集進行加速,讓媒體公司能瞭解誰是影片裡的主角、出現在影片裡的哪個時間及地點,還有周遭的視覺環境為何,例如是出現樹葉或城市建築物。

它還會分析說了些什麼及背景聲音,並且建立索引。Valossa 日前發表了影片洞察工具,可以通過視覺報表、場景搜索與概覽儀表板來檢查影片內容。將這些洞察資料與用戶行為資料兩相結合,便可在掌握充分資訊的情況下對內容作出決定。

Valossa 在公司內部或雲端皆使用 NVIDIA GPU 來加快訓練深度學習演算法的速度,相較於 CPU,性能至少提升30倍。

加快時間

速度大幅提升使得 Valossa AI 引擎能在短短十分鐘裡,為60分鐘影片內的所有內容建立索引和注釋,要是使用 CPU 的話得花上兩個多小時,成本更高。所有人皆可前往 Valossa 網站,註冊後便可免費使用該公司採用深度學習的叢集來播放影片,觀看實際應用這項技術的情況。

客戶可依消化內容的處理時間來支付服務費用,對於持續有著大量影片需求的客戶還提供了訂閱模式。在網站註冊者可預覽互動式影片洞察工具的運作情況。Valossa 另有供企業使用的現地安裝服務。

Rautiainen 預估未來隨著愈來愈多的企業希望利用影片智慧技術來取得價值,對 Valossa 的技術有興趣的公司將不限於媒體業者。他們將明白呈現方式會怎麼影響著觀眾,並即時加以調整。

Rautiainen 表示:「我們讓人們知道他們的內容資料是如何建構的,還能找出這些結構與實際影響力之間的關係。」

Valossa 為 NVIDIA Inception 計畫裡2200多家新創公司之一。這項虛擬加速器計畫提供技術、專業知識與市場支援給新創公司使用。