Square Assistant 讓自然語言處理成為客服的重要話題。
下次虛擬助理可能會重新安排您的約會計劃時特別周到，您可以感謝它。誰知道呢，也許它是為了從稱讚中學習而建立的。但實際上您真正要感謝的是 Gabor Angeli 。
Square Inc.的工程經理及其團隊成員發表了一篇論文，介紹如何創造出有同理心聆聽的 AI 助手等技術。它描述了透過反射式聆聽等技術創造逼近人類績效的 AI 模型 – 重新表達某人的要求讓他們感覺被聽到。
如今，他的團隊一直在努力工作，將 Square Assistant 從虛擬調度程式擴展到驅動公司所有產品的對話式 AI引擎。
安吉利說：“買賣雙方之間存在著很多方方面面，我們可以並應該幫助人們進行導航。”安吉里將在免費的 GTC Digital 一次演講會議中描述這項工作。
Square 以其時尚的支付終端而聞名，它為小型企業提供各種服務，從處理薪資單到創造忠實會員計劃。
聆聽對話式AI的嗡嗡聲
十多年前，加州大學柏克萊分校的一位教授對 AI 課程的介紹點燃了 Angeli 進行自然語言(NLP)處理的持久動力。他在大學的 AI 實驗室研究這些新興領域，最後更與他人共同創立了 Eloquent ， Eloquent 是一家 NLP 新創公司並於去年 5 月被 Square 收購。
六個月後，Square Assistant 這個虛擬調度程式誕生了。
安吉利說：“我們希望拿出好東西，但要迅速端到客戶面前。我們現在正在為 Square Assistant 添加先進的功能，目標是將其應用於我們提供的所有產品中。”
迄今為止的結果充滿希望。 Square Assistant 可以理解並為 75 ％的客戶問題提供幫助，並且可以將約會未到人數減少一成。
但是要使 NLP 成為主要話題，團隊面臨棘手的語言和技術挑戰。例如，“下個星期六”是下一個還是下下一個星期六？
而且，常見客戶查詢的內容也很長。隨著 Square Assistant 的工作描述從幾十個任務擴展到數千個任務，其神經網路模型不斷擴展，需要更多的訓練。
“很高興看到 BERT [Bidirectional Encode Representations from Transformers] 做了我們認為不可能的事情，例如用 AI 來閱讀理解。這讓我感到驚訝，這些更大的模型代表著它們在訓練和部署的時間挑戰。”
GPU加速推論，訓練
Angeli 的團隊開始在 Eloquent 所有桌機內的單個 GPU 運行 CUDA 來訓練 AI 模型。在 Square ，它使用搭載雙 GPU 的桌機，輔以 AWS 雲端服務中的 GPU 運行大型超參數作業來訓練。
在測試中， Square 發現平均大小模型的推論作業在 GPU 上的運行速度是 CPU 的兩倍。在大型模型（例如RoBERTa）上的推論在 AWS GPU 服務上的運行速度比在 CPU 上快 10 倍。
他報告說，訓練工作的差異“更加明顯”。 “在沒有 GPU 的情況下，很難訓練現代的機器學習模型。如果我們必須在 CPU 上進行深度學習，那我們將落後十年。”他補充道。
他說，更快的訓練還有助於激勵 AI 開發人員更頻繁地迭代設計，從而產生更好的模型。
他的團隊使用了小型，中型和大型 NLP 模型，並應用了預訓練技巧，這些技巧在電腦視覺應用程式中證明了自己的價值。從長遠來看，他相信工程師會發現適用於廣泛任務的通用模型。
同時，對話式 AI 是一場三足鼎立的競賽， Angeli 團隊等開發人員在 GPU 架構師設計功能更強大的晶片時製作出了效率更高的模型。
他說：“一半的工作是在演算法設計上，一半的工作在 NVIDIA 製造的硬體上，後者針對機器學習進行了更優化的硬體設計並運行更大的模型。”