立即接軌:如何在 Obsidian 使用生成式 AI 工具

兩款社群開發的外掛程式突顯出,次世代應用程式開發者可以如何在 RTX AI PC上 全面採用大型語言模型。
作者 Jesse Clayton

編者按:本文為「解碼 AI 」系列文章,以深入淺出的方式解密 AI,並向 RTX PC的使用者展示新的軟硬體、工具與加速功能。

生成式 AI 與時俱進,加速產業發展之際,AI 愛好者社群正實驗各種方式,將強大的技術整合至常見的生產力工作流程。

支援社群外掛程式的應用程式,讓使用者能夠探索大型語言模型 (LLM) 可如何增強各種工作流程。RTX AI PC 的使用者若使用 NVIDIA RTX 加速之 llama.cpp 軟體庫的本機推論伺服器,可輕鬆整合本機 LLM。 

我們先前探討了使用者如何在 Brave 網頁瀏覽器利用 Leo AI,將網頁瀏覽體驗最佳化。今天,我們來認識一下 Obsidian。這款熱門的寫作與筆記應用程式採用 Markdown 標記語言,有助於為多項專案管理複雜的連結記錄。這款應用程式支援社群開發的外掛程式,增加的額外功能包括,讓使用者將 Obsidian 連結至 Ollama 或 LM Studio 等本機推論伺服器。

利用 Obsidian 與 LM Studio,以 RTX 加速的 27B 參數 LLM 生成筆記。

只要按一下左側面板的「開發者」圖示、載入任何下載的模型、啟用 CORS,然後按一下「開始」,即可在 LM Studio 啟用本機伺服器功能,將 Obsidian 連接至 LM Studio。請記錄「開發者」記錄控制台的聊天完成 URL (預設為「http://localhost:1234/v1/chat/completions」,因為外掛程式需要這項資訊才能連接。

接著啟動 Obsidian,然後開啟「設定」面板。依序按一下「社群外掛程式」和「瀏覽」。目前有多個 LLM 方面的社群外掛程式,不過 Text Generator 和 Smart Connections 這兩個選項最受歡迎。

  • Text Generator 有助於在 Obsidian 儲存庫生成內容,例如研究主題的筆記與摘要。
  • Smart Connections 有助於提出 Obsidian 儲存庫內容的相關問題,例如多年前儲存之模糊瑣碎問題的答案。

每款外掛程式各有輸入 LM 伺服器 URL 的方式。

若為 Text Generator,先開啟設定、針對「Provider profile」選取「Custom」,然後將整個 URL 貼至「Endpoint」欄位。若為 Smart Connections,啟動外掛程式之後進行設定。在介面右側的設定面板,針對模型平台選取「Custom Local (OpenAI Format)」。接著,將出現在 LM Studio 的 URL 與模型名稱按原樣 (例如「gemma-2-27b-instruct」) 輸入相應欄位。

欄位填入資訊後,外掛程式隨即運作。如果使用者想瞭解本機伺服器的情況,LM Studio 使用者介面也顯示了記錄的活動。

利用 Obsidian AI 外掛程式徹底改變工作流程

Text Generator 與 Smart Connections 外掛程式運用生成式 AI 的方式皆極具吸引力。

舉例來說,請試想,使用者打算在月之城的虛構目的地度假,並且絞盡腦汁構思可以在當地從事哪些活動。使用者開始寫新下標題為「月之城玩樂攻略」的筆記。月之城並非實際存在的城市,因此傳送給 LLM 的查詢,必須包含一些引導回應的額外指令。按一下 Text Generator 外掛程式圖示,模型隨即生成旅途待辦活動清單。

Obsidian 透過 Text Generator 外掛程式要求 LM Studio 產生回應,然後 LM Studio 便會執行 Gemma 2 27B 模型。使用者的電腦採用 RTX GPU 加速技術後,模型便可快速生成待辦事項清單。

有了 Obsidian 的 Text Generator 社群外掛程式可讓使用者連接至 LM Studio 的 LLM,為想像的假期生成筆記。Obsidian 的 Text Generator 外掛程式可讓使用者可透過 LM Studio 存取 LLM,為虛構的假期生成筆記。

或者,假設多年後,使用者的友人打算前往月之城,想瞭解有哪些用餐地點。使用者可能不記得用餐過的地點名稱,但若是留下隻字片語,便可查看儲存庫 (Obsidian 將一系列筆記稱為儲存庫) 中的筆記。

使用者利用 Smart Connections 外掛程式便可就筆記儲存庫與其他內容提問,無須手動翻閱所有筆記。該外掛程式使用相同的 LM Studio 伺服器回應請求,並提供從使用者筆記找到的相關資訊協助流程。外掛程式運用所謂的檢索增強生成技術完成這項工作。

Obsidian 的 Smart Connections 社群外掛程式運用檢索增強的生成技術並連接 LM Studio,讓使用者能夠查詢筆記。

形塑生產力未來發展

這些例子很有趣,但使用者試用這些功能一陣子後,便能看出日常生活的生產力實際獲得哪些效益,又有哪些改良之處。Obsidian 外掛程式只是社群開發者與 AI 愛好者為了強化 PC 體驗廣泛運用 AI 的兩種方式。

適用於 Windows PC 的 NVIDIA GeForce RTX 技術可執行數千個開放原始碼模型,讓開發者整合至 Windows 應用程式。

將 Obsidian 整合至工作流程,感受一下 RTX AI PC 的加速體驗,深入瞭解 LLM、 Text Generation 與 Smart Connections 的強大威力

生成式AI正在改變遊戲、視訊會議和各種互動式體驗的生態。立即訂閲解碼AI電子報,掌握最新消息和未來趨勢。