利用 NVIDIA AI Blueprint 精準控制適用於 3D 引導生成式 AI 的生成影像的構圖 - NVIDIA 台灣官方部落格利用 NVIDIA AI Blueprint 精準控制適用於 3D 引導生成式 AI 的生成影像的構圖

AI 驅動的影像生成正以驚人速度進化，從早期模型連「人類手指數量」都算不清，到如今能生成逼真到令人驚嘆的影像。儘管技術飛躍，仍然存在一個挑戰：實現「精準創作控制」。

使用文字生成場景變得更加簡單，不再需要複雜的描述，而且模型與提示詞的理解度也有所提升。但是，僅用文字描述細節，例如構圖、攝影機角度和物件位置，仍然相當困難，若要進一步調整則更加複雜。使用 ControlNets 的進階工作流程（透過對輸出提供更佳控制，強化影像生成的工具）提供了解決方案，但設置的複雜性限制了更廣泛的存取。

為了協助克服這些挑戰，並快速取得進階 AI 功能，NVIDIA 在今年初的 CES 展會上宣佈了 NVIDIA AI Blueprint：適用於 RTX PC 的 3D 引導生成式 AI。此範例工作流程包含開始生成具有完整構圖控制功能的影像所需的一切。用戶現在可以下載全新的 Blueprint。

利用 3D 控制 AI 生成的影像

適用於 3D 引導生成式 AI 的 NVIDIA AI Blueprint 透過在 Blender 中草擬 3D 場景，為影像生成器（來自 Black Forest 實驗室的 FLUX.1-dev）提供深度圖，結合使用者的提示詞，最終生成所需的影像。

深度圖有助於影像模型理解物件的空間佈局。這項技術的優勢在於不需要高度細節化的物件或高品質的紋理，因為這些物件將轉換為灰階資訊。由於場景是 3D 格式，使用者可以輕鬆調整物品位置和攝影機鏡頭角度。

在此Blueprint的底層架構中，採用了 ComfyUI，這款強大工具能讓創作者以創新方式串接多個生成式 AI 模型。例如，ComfyUI Blender 外掛程式可讓使用者將 Blender 連線至 ComfyUI。此外，NVIDIA NIM 微服務讓使用者透過 NVIDIA TensorRT 軟體開發套件和 FP4 和 FP8 等最佳化格式，部署 FLUX.1-dev 模型，並在 GeForce RTX GPU 上以最佳效能運行。 3D 引導生成式 AI Blueprint 需要 NVIDIA GeForce RTX 4080 GPU 或更高規格。

生成式 AI 工作流程的預建基礎架構

3D 引導生成式 AI Blueprint包含使用進階影像生成工作流程所需所有元件：Blender、ComfyUI、連接兩者的 Blender 外掛程式、FLUX.1-dev NIM 微服務，以及運行所需的 ComfyUI 節點。對於 AI 藝術家，還隨附安裝軟體和詳細的部署說明。

該Blueprint提供了一種深入探索影像生成功能的結構化方式，並提供可因應特定需求的工作流程。逐步說明文件、範例素材和預先設定好的環境，讓創意流程更易於管理，並獲得更強大的結果。

對於 AI 開發者，Blueprint可以作為建置類似流程或拓展現有流程的基礎架構。附帶原始碼、範例資料集、技術文件和工作範例，以供入門使用。

RTX AI 支援的即時生成技術

AI Blueprints 可在搭載 NVIDIA Blackwell 架構的 RTX AI PC 與工作站執行，充分發揮最高效能突破。

包含在 3D 引導生成式 AI Blueprint 中的 FLUX.1-dev NIM 微服務，已透過 TensorRT 最佳化，並量化為 Blackwell GPU 的 FP4 精度，推論速度比原生 PyTorch FP16 快兩倍以上。

對於 NVIDIA Ada Lovelace 一代 GPU 的使用者，FLUX.1-dev NIM 微服務搭載同樣由 TensorRT 加速的 FP8 變體。這些改良讓高效能工作流程更易於使用，以快速迭代和試驗。量化也有助於以減少的 VRAM 執行模型。例如，透過 FP4，模型大小與 FP16 相比減少了超過 2 倍。