在配備 NVIDIA GPU 的雲端伺服器的支援下，全球每天有數百萬人都在使用聊天機器人。現在這些開創性工具將出現在搭載 NVIDIA RTX 處理器的 Windows PC 上，以便讓人在本機端快速使用量身打造的生成式人工智慧（AI）。
現已開放免費下載的技術展示內容 ChatRTX，透過本機端的 NVIDIA GeForce RTX 30 系列或更高規格的 GPU 且具備8GB 以上視訊隨機存取記憶體（VRAM）加速，可以讓使用者以自己的內容打造個人專屬的聊天機器人。
變身「包打聽」
ChatRTX 利用檢索增強生成（RAG）、NVIDIA TensorRT-LLM 軟體及 NVIDIA RTX 加速技術，將生成式 AI 功能引入有著 GeForce 技術支援的 Windows PC。使用者可以快速、輕鬆地將 PC 本機端上的檔案當成資料集，連接到 Mistral 或 Llama 2 這一類開源大型語言模型，以便快速查詢與上下文有關的答案。
使用者無需搜尋筆記或儲存的內容，只要在 ChatRTX 工具輸入查詢內容，如「我的夥伴推薦拉斯維加斯的哪一間餐廳」等，該工具就會掃描使用者指向的本機端檔案，並且按照上下文提供答案。
ChatRTX 工具支援包括 .txt、.pdf、.doc/.docx 和 .xml 在內的多種檔案格式，將應用程式指向有著這些檔案的資料夾，ChatRTX 工具就會在幾秒鐘內將它們載入到檔案庫中。
此外，使用者還能加入 YouTube 影片和播放清單裡的資訊。在 ChatRTX 工具裡輸入影片網址，使用者便能整合這些知識與聊天機器人，並進行上下文查詢，例如根據使用者最喜歡的網紅發布的影片內容推薦的旅遊資訊，或是依照頂尖學習資源獲得教學影片和操作方法。
ChatRTX 可以在 Windows RTX PC 和工作站上以本機端的方式運行，能夠快速提供查詢結果，且使用者的資料仍能保留在裝置上。與依賴雲端環境的 LLM 服務不同，ChatRTX 無需分享給第三方或是連結到網路，能讓使用者在 PC 本機端上處理敏感資料。
ChatRTX 的使用需配備 GeForce RTX 30 系列或更高版本 GPU 且具備 8GB以上 的 VRAM ，並搭配作業系統 Windows 10 或 11 和最新的 NVIDIA GPU 驅動程式。
使用 RTX 開發以 LLM 為基礎的應用程式
ChatRTX 展現出利用 RTX GPU 加速 LLM 的潛力，這款應用程式使用 GitHub 上的 TensorRT-LLM RAG 開發者參考專案構建而成。開發者可以使用該參考專案，為 RTX 開發和部署以 RAG 為基礎的私人應用程式，並且由 TensorRT-LLM 進行加速。深入瞭解如何建立以 LLM 為基礎的應用程式。
NVIDIA RTX PC 生成式人工智慧開發人員競賽活動現正火熱展開中，參賽者在 2 月 23 日（五）前繳交一款由生成式 AI 支援的 Windows 應用程式或外掛程式，就有機會贏得 GeForce RTX 4090 GPU、NVIDIA GTC 大會全程現場演講通行證等多項好禮！
深入瞭解 ChatRTX。