取得圖片:人工智慧如何協助 Bing 進行以圖搜圖

作者 Jamie Beckett

拜人工智慧和 NVIDIA GPU 之賜,搜尋這件事變得更聰明了。

微軟的 Bing 搜尋引擎現在推出以圖搜圖功能,甚至還能購買你搜尋到的內容。

如果你是電影《玩命關頭》系列的粉絲,想要在自己的座騎上裝飾在大銀幕上看到的裝備;或者你動了想改造起居室的念頭,並且在網路上看到一張圖片裡有著閃亮的吊燈,想說它能為空間增添典雅氛圍。

無論圖片裡的哪一點吸引了你的目光,只要在這個物品的四周畫一個方框,接著 Bing 的 Visual Search(視覺搜尋)功能便會顯示與你選擇之物品相似的圖片,以及可購買的場所和價格等資訊。

「我們想做的不只是搜尋框而已。」Bing 視覺搜尋事業群主管 Meenaz Merchant 說。

Merchant 及其團隊本週將出席在檀香山舉行的電腦視覺領域年度盛會 IEEE 電腦視覺與圖型辨識(CVPR)大會,演示這項視覺搜尋功能。如果你也將出席這場盛會,別錯過微軟人工智慧與搜尋事業群執行副總裁 Harry Shum7月23日的主題演講活動。

Bing 如何辨識出 Louis Vuitton 品牌的商品

這一類新的搜尋功能不限用於購物,你可以上傳自己的照片或是選擇網路上的任何東西,像是蘋果派、瀑布、旅館, Bing 的圖片搜尋功能就會回傳類似的圖片和標籤,描述搜尋引擎對圖片內容的備註。你選好相似的圖片時,就能看到有用的資訊,例如製作蘋果派的食譜、瀑布的位置或旅館名稱。

視覺搜尋功能的背後運用了深度學習技術,也就是說運用的愈頻繁,搜尋出的結果就愈準確。目前有時相關圖片看起來很像,但其實並非同一件東西。搜尋女星艾瑪.史東在電影《樂來越愛你》(La La Land)一片裡穿著的黃色洋裝,會找到一堆黃色的裙子,只不過都是晚禮服,不是電影裡的小洋裝。

Bing 並非首個推出以圖找圖服務的業者,不過 Merchant 說它的優勢是 Bing 搜尋索引裡龐大的圖片庫。

「要是圖片裡的人拿著一只 Louis Vuitton 的皮包,由於我們看過幾千張類似的圖片,可以辨識的出來。」他說。


使用 Bing 的以圖找圖搜尋服務就能選擇圖片裡的某一部分、查看相似圖片,還有閱讀圖片說明。

搜尋服務的未來發展

Merchant 及其團隊使用 Bing 搜尋索引裡的圖片,加上我們的 GPU 來訓練視覺搜尋功能使用的深度學習演算法。所有圖片皆已完成辨識,或是在深度學習的語法裡加上標籤。

研究團隊在這篇部落格文章裡,詳細介紹了 Bing 圖片搜尋服務在技術層面的運作方式和背後的圖片理解技術。除了在網站和行動裝置 app 上提供圖片搜尋服務,Bing 也推出一項 API,開發人員便可將視覺搜尋功能併入其 app。

Merchant 提到他的團隊持續致力於讓搜尋這件事變得更簡單。「我們努力讓這項功能變得更好。」他說。

Merchant 表示 Bing 圖片搜尋功能很快便能在無需畫出方框的情況下,就能挑出圖片裡的物體。他說 Bing 也打算將辨識出的物體連接至 Bing Satori 平台及網路圖形知識庫,因此像是搜尋引擎辨識出圖片裡出現名人的身影,就會顯示該名人的詳細身家資料;而辨識出產品時,Bing 也會顯示可購買的地點。

「視覺搜尋是當前文字搜尋的分野。現在大家手上都有著高解析度的相機,未來幾年會出現爆炸性的發展,甚至超越文字搜尋的程度。」Merchant 說。