新創公司 Lilt 利用更新的 Transformer 神經網路架構來提高翻譯的精準程度。
誰曉得人工智慧居然會寫出不錯的東西?然而不久前 Spence Green 與 John DeNero 對於專業翻譯人員還沒用過、那些最新最棒的自然語言處理研究結果還感到困惑不已。
畢業於史丹佛大學的 Spence Green 與 John DeNero 開始著手改變這種狀況。兩人在2015年共同創立了用於翻譯和本地化服務的人工智慧軟體平台「Lilt」。
在過去十年間自然語言處理的 app 數量呈現出爆炸般的增長速度,在 GPU 的助力下遞歸神經網路出現長足的進步,能更好地執行人工智慧運算工作,使得多間新創公司能夠提供白標語音服務、語言學習家教和聊天機器人等服務。
Lilt 為翻譯專家開發出這款用於本地化專案和訓練神經網路的人工智慧軟體平台,而混合人機平台的舉動加快了翻譯速度及增進特定專案的專業知識領域。
Lilt 的軟體就像是搜尋查詢內容時的 Google 自動填入功能,讓使用者能觀看單一語言的每一行文字,再翻譯成另一種語言,而翻譯人員也能接受、拒絕或修改所有的翻譯建議內容。
翻譯人員對文字內容進行互動時,有助於訓練神經網路又立即投入軟體。「我們的每個使用者都有一套為他們訓練的參數。」DeNero 說。
DeNero 表示 Lilt 的軟體提供三十餘種語言服務,可將翻譯速度提高五倍。
Lilt 為 NVIDIA Inception 虛擬加速器計畫的成員,這項計畫旨於協助新創公司更快進入市場。Canva、Zendesk 和 Hudson’s Bay Company 等公司皆為 Lilt 的客戶。
Transformer 神經網路上的自然語言處理(NLP)
據 Lilt 創辦人的說法,Lilt 在自然語言處理方法方面的獨特之處,在於它部署採用下一代深度神經網路進行開發的服務。Lilt 利用被稱為 Transformer 的神經網路架構,這是用以替代 RNN 的一種神經網路,本於2017年12月 Google Brain 的研究成果(Attention Is All You Need)所開發出的模型。
Transformer 神經網路架構跟 RNNs 的順序性質不同,RNNs 會對句子裡的最後一個單字給予更多權重,以判斷下一個單字。Transformer 神經網路架構則是在每個步驟套用所謂的自注意力技術,按照句子裡所有單字的比較得分來判斷下一個單字。
這種新的方法被視為更適合用來理解語言。該報告的作者表示此架構可做到更好的平行運算作業,提供更優質的翻譯結果。
NVIDIA 的 GPU 近期寫下全新的人工智慧效能紀錄,包括只用了6.2分鐘便完成 Transformer 神經網路的訓練工作。
高速個人化的翻譯平台
該架構為翻譯人員提供了高速個人化的軟體平台。Lilt 必須這麼做,這個平台同時運行著眾多使用者個人設定資料,又在訓練軟體,有著龐大的運算需求。
DeNero 表示當人們在打字的同時,Lilt 便會進行翻譯,這一切要在300毫秒內完成,代表 Lilt 的服務必須讓部分神經網路執行靜態功能,部分則是即時進行調整。
「我們需要用到雲端環境裡的 GPU,會在系統運作的同時對它們進行訓練。」DeNero 說。