解碼 NVIDIA Edify — 協助開發人員量身打造使用自家資料訓練模型的技術

iStock 推出生成式AI,為工作室和創作者提供影像生成與修改工具。
作者 Gerardo Delgado

編者按:本文為「解碼 AI 」系列文章,以簡單易懂的方式解密 AI,並向 RTX 電腦的使用者展示新的軟硬體、工具與加速功能。

無論是產生語言、2D 影像、3D 模型還是影片,內容生成器為創作社群提供的工具,都加快了實現願景的速度。

為了協助開發人員打造全新的生成式AI工具,NVIDIA 成立了 NVIDIA AI Foundry。它能協助各家公司利用 NVIDIA Edify 這個多模態AI架構,透過簡單的文字提示產生影像、影片、3D 素材、360 度高動態範圍成像和物理渲染 (PBR) 素材,以自己的授權資料訓練生成式AI模型。公司利用 AI Foundry 可訓練自訂的AI模型,生成這些素材的任何一種。

Edify 的關鍵元素包括能夠產生多種類型的內容,訓練效率優異,即使訓練的圖片數量較少,也能產生高品質的內容,而且可以配合風格微調模型或是學習角色或物體。

 

Getty Images 的生成式AI這款符合商用安全的生成式影像服務是以 NVIDIA AI Foundry 和 Edify 為建置基礎的最佳服務範例之一。AI Foundry 搭配 Edify 的組合,讓使用者能控制訓練資料集,打造符合需要的模型。

為了避免版權問題,Getty Images 利用 Edify 以自家授權的內容訓練服務,確保資料集沒有著名的人物或產品。該公司還與投稿者分享部分利潤,讓對模型有所貢獻的創作者增加了新的收益來源。

利用 Edify 生成素材

Edify 經過訓練後可生成各種影像類型,包括影像、3D 素材和 360 度 HDRi 環境圖。

Edify Image 可在 6 秒左右產生四張高品質的 1K 影像,效能是前一款模型的兩倍。利用生成式放大器,影像可轉換為 4K,添加額外細節。

搭配 NVIDIA Edify 進行的 Getty Images 4K 影像生成訓練使用符合商用安全的創作資料庫。

有了更進階的提示遵循技術、可指定焦距或景深的相機控制功能,以及引導生成的 ControlNets,影像現在的可控性極高。ControlNets 包括 Sketch,讓使用者可參照或複製影像構圖,以及複製影像組成用的深度提供草圖。

此外,可以使用 Edify Image 編輯影像。InPaint 可讓使用者新增或修改影像內容。Replace 是更為精準的 InPaint 技術,可變更服裝等細節。OutPaint 可配合不同的長寬比放大影像。Segment 這項功能將一切化繁為簡,透過文字提示便可遮蔽物件。

Edify 還可建立藝術家現成可用的 3D 網格。網格採用乾淨的四邊形拓撲結構、高達 4K PBR 的素材,以及自動 UV 映射,可輕鬆編輯紋理。快速預覽模式在短短 10 秒內提供結果,接著便可將結果轉化為完整的 3D 網格。

網格非常適合製作場景原型、生成裝飾場景用的背景物件,或是作為 3D 雕塑的基礎。

Edify 360 HDRi 可生成自然景觀的環境圖,用於照亮場景、製造反射效果,甚至是當成背景使用。模型利用文字或影像提示,最高可生成 16K HDRi 影像。使用者有了需要的背板,便可打造出合適的自訂 HDRi,不用再花數小時的時間尋尋覓覓。

利用文字提示生成高動態範圍 360 度全景。

Edify 的多模態功能獨一無二,可實現結合不同類型素材的進階工作流程。舉例而言,Edify 搭配代理程式使用,使用者透過簡單的文字提示,在幾分鐘內便能製作整個場景的原型,例如 此項NVIDIA Research SIGGRAPH發表的示範內容展示了 NVIDIA Edify 支援的模型和 NVIDIA Omniverse 平台有哪些 3D 世界建構輔助功能。

另一個使用案例是將 Edify 3D 和 360 HDRi 與 Image 結合,讓使用者完全掌控影像生成。藝術家透過生成 3D 場景,便可四處移動物件、建構他們想要的畫面,然後使用 Edify Image 將原型轉換成逼真的影像。

Getty Images 的生成式AI

Getty Images 是數一數二的大型內容服務供應商,也是創意視覺效果、報導式新聞圖片攝影、影片和音樂的供應商,更是許多人探索、購買及分享來自全世界頂尖攝影師的強大視覺內容的首選。

Getty Images 使用 NVIDIA AI Foundry 訓練 NVIDIA Edify Image 模型,強化其生成式AI服務。這項服務透過適用於企業的 Getty Images 生成式AI,以及適合小型企業和業餘創作者的 iStock 生成式AI,讓使用者可使用 NVIDIA Edify 支援的模型產生及修改影像。

Getty Images (或 iStock) 的生成式AI提供各種授權內容。

Getty Images 和 iStock 最近已更新至最新版本的 Edify Image,實現更快的生成速度、更完整的提示遵循,並且提供更全面的相機控制功能。

Getty Images 更新生成式AI的相機控制功能。

使用者現在還可在先前拍攝的創作內容中,使用生成式AI工具編輯及修改 iStock 的圖像庫圖片,不僅可快速迭代,還能讓內容更臻完美。Gettyimages.com 很快將會提供這些相同的功能。

ai.nvidia.com 測試 Getty Images 的生成式AI。

生成式AI正在改變遊戲、視訊會議和各種互動式體驗的生態。立即訂閲解碼AI電子報,掌握最新消息和未來趨勢。