開發與部署人工智慧機器人及其他自主機器的速度不斷加快。新一代應用項目必須大幅提高人工智慧的運算效能，才能即時處理同時平行運作的多模式人工智慧應用項目。
在零售場所、美食外送、醫院、倉庫、工廠內和其他商業應用項目中，人機互動的比例持續在增加中。這些自主機器人必須同時進行 3D 感知、自然語言理解、路徑規畫、閃避障礙物、姿勢估計等既需要高度的運算效能，且需要為各應用項目使用極精確經訓練之神經網路模型的動作。
NVIDIA Jetson AGX Orin 模組是 NVIDIA Jetson 系列產品中的新成員，且擁有最佳的效能表現。這些模組具備優秀的運算效能及領先同級的能效。它們可以運行綜合性的 NVIDIA 人工智慧軟體堆疊，以支援新一代要求嚴苛的邊緣端人工智慧應用項目。
Jetson AGX Orin 與 Jetson Orin NX 系列
NVIDIA 在 2022 年春季 GTC 大會上，宣布將於 2022 年第四季推出 4 款 Jetson Orin 模組。Jetson Orin 模組每秒可以進行高達 275 兆次運算（TOPS），將能在邊緣運行伺服器等級的人工智慧模型，進行端到端的應用項目工作流程加速。相較於 Jetson Xavier 模組，Jetson Orin 為現代人工智慧應用項目帶來更高的效能、能效和推論能力。
| JETSON AGX XAVIER 64GB | JETSON AGX ORIN 64GB | |
| 32 DENSE INT8 TOPS | 275 SPARSE|138 DENSE, INT8 TOPS | |
| 10W 至 30W | 15W 至 60W | |
| US$1,299 (1KU+) | US$1,599 (1KU+) | |
| JETSON AGX XAVIER 32GB | JETSON AGX ORIN 32GB | |
| 32 DENSE INT8 TOPS | 200 SPARSE|100 DENSE, INT8 TOPS | |
| 10W 至 30W | 15W 至 40W | |
| US$899 (1KU+) | US$899 (1KU+) | |
| JETSON XAVIER NX 16GB | JETSON ORIN NX 16GB | |
| 21 DENSE INT8 TOPS | 100 SPARSE|50 DENSE, INT8 TOPS | |
| 10W 至 20W | 10W 至 25W | |
| US$499 (1KU+) | US$599 (1KU+) | |
| JETSON XAVIER NX 8GB | JETSON ORIN NX 8GB | |
| 21 DENSE INT8 TOPS | 70 SPARSE|35 DENSE, INT8 TOPS | |
| 10W 至 20W | 10W 至 20W | |
| US$399 (1KU+) | US$399 (1KU+) |
表 1：Jetson Xavier 和 Jetson Orin 功能和價格比較
Jetson AGX Orin 系列包括 Jetson AGX Orin 64GB 和 Jetson AGX Orin 32GB 模組。
- Jetson AGX Orin 64GB 的運算表現最高為275 TOPS，可以在 15W 和 60W 之間配置功率。
- Jetson AGX Orin 32GB 的運算表現最高為 200 TOPS，可以在 15W 和 40W 之間配置功率。
這些模組同樣採用精巧設計，且相容於 Jetson AGX Xavier 系列模組的接腳，可以將效能提升 8 倍，亦或在相同價格下效能提高 6 倍。
感測器的數量、效能與頻寬增加，進而持續推動邊緣與嵌入式系統的發展。Jetson AGX Orin 系列不僅為處理這些感測器帶來額外的運算能力，更帶來了額外的輸入/輸出（I/O）：
- 多達 22 行 PCIe Gen4
- 4 個 10Gb 乙太網路
- 更高速的 CSI 通道
- 64GB eMMC 5.1，儲存容量增加一倍
- 記憶體頻寬增加 1.5 倍
需要更多資訊，請參見 Jetson Orin 產品頁面與 Jetson AGX Orin 系統資料表。
USB 3.2、UFS、MGBE 及 PCIe 共用 UPHY 通道。需要更多與支援之 UPHY 組態有關的資訊，請參見設計指南。
NVIDIA Orin NX 系列包括人工智慧運算效能高達 100 TOPS的Jetson Orin NX 16GB，以及高達 70 TOPS的 Jetson Orin NX 8GB。此系列遵循與 Jetson Xavier NX 相似的設計理念。我們引入了 NVIDIA Orin 架構，使用在 260 接腳 SODIMM，且功耗還更低之最小的 Jetson 尺寸上。
您可以將此種更高級別的運算效能，使用在新一代小尺寸產品中，例如無人機和手持裝置。在 10W 和 25W 之間可以配置 Jetson Orin NX 16GB 的功率，在 10W 和 20W 之間可以配置 Jetson Orin NX 8GB 的功率。
Orin NX 系列的外形尺寸相容於 Jetson Xavier NX 系列，效能高出 5 倍，或在相同價格下，效能提升 3 倍。Orin NX 系列同時帶來額外的高速 I/O 功能，多達 7 個 PCIe 通道和 3 個 10Gbps USB 3.2 介面。可以利用額外的 PCIe 通道，將儲存裝置連接至外部 NVMe。需要更多資訊，請參見 Jetson Orin 產品頁面。
圍繞 NVIDIA Xavier SoC 設計的 Jetson AGX Xavier，是我們針對自主機器從頭開始開發的第一個架構。NVIDIA Orin 架構將此類產品提升到新的層次。它不斷展現出多種單晶片處理器，但是擁有更強大的能力、更出色的效能和更優秀的能效。
Jetson Orin 模組包括以下內容：
- 具有多達 2048 個 CUDA 核心及多達 64 個 Tensor 核心的 NVIDIA Ampere 架構 GPU
- 多達 12 個 Arm A78AE CPU 核心
- 2 個次世代深度學習加速器（deep learning accelerator，DLA）
- 1 個電腦視覺加速器
- 卸載 GPU 和 CPU 工作負載的各種其他處理器：
- 視訊編碼器
- 視訊解碼器
- 視訊影像合成器
- 影像訊號處理器
- 感測器處理引擎
- 音訊處理引擎
Jetson Orin 與其他 Jetson 模組一樣，採用系統模組（system-on-module，SOM） 的設計理念。所有的處理器、記憶體和電源軌都包含在模組中。可以透過一個 699 接腳的接頭（適用於 Jetson AGX Orin 系列）或一個 260 接腳的 SODIMM 接頭（適用於 Jetson Orin NX 系列）使用所有的高速 I/O。此種 SOM 設計可以輕鬆地將模組整合至系統設計中。
JETSON AGX ORIN 開發人員套件
NVIDIA 在 GTC 2022 大會上同時宣布推出 Jetson AGX Orin 開發人員套件。此套件提供了快速啟動和運行需要的各項工具。包括一個具有最高效能的 Jetson AGX Orin 模組，並運行全球最先進的深度學習軟體堆疊。此套件可以在現在和未來靈活地建立複雜的人工智慧解決方案。
精巧尺寸、高速介面及大量接頭，使此款開發套件成為在製造、物流、零售、服務、農業、智慧城市、醫療、生命科學等領域，開發先進人工智慧機器人與邊緣應用項目原型的完美選擇。
Jetson AGX Orin 開發人員套件的特色：
- NVIDIA Ampere 架構 GPU 和12個核心的 Arm® Cortex®-A78AE 64位元 CPU，以及次世代深度學習與視覺加速器。
- 高速 I/O、204.8 GB/s 的記憶體頻寬和 32GB 的 DRAM，可以驅動多個同時運作的人工智慧應用程式工作流程。
- 強大的 NVIDIA AI 軟體堆疊，可以支援 SDK 和軟體平台，包括：
- NVIDIA JetPack
- NVIDIA Riva
- NVIDIA DeepStream
- NVIDIA Isaac
- NVIDIA TAO
Jetson AGX Orin 開發人員套件運行最新的 NVIDIA JetPack 5.0 軟體。NVIDIA JetPack 5.0 支援使用 Jetson AGX Orin 開發人員套件，模擬 Jetson Orin NX 和 Jetson AGX Orin 系列模組的效能與時脈頻率。您現在就可以立即著手開發其中的任何一個模組。
Jetson AGX Orin 開發人員套件可以透過 NVIDIA 全球授權經銷商購買。現在就依據入門指南的內容開始使用。
| 開發人員套件 | AGX Orin 64GB | AGX Orin 32GB | |
| AI 效能 | 275 INT8 Sparse TOPS | 200 INT8 Sparse TOPS | |
| GPU | 2048核心 NVIDIA Ampere 架構 GPU 搭配64個 Tensor Core |
1792核心 NVIDIA Ampere 架構 GPU，搭配56個 Tensor Core | |
| CPU | 12核心 Arm Cortex-A78AE v8.2 64位元 CPU 3MB L2 + 6MB L3 |
8核心 Arm Cortex-A78AE v8.2 64位元 CPU 2MB L2 + 4MB L3 |
|
| 電源 | 15W-60W | 15W-40W | |
| 記憶體 | 32 GB | 64 GB | 32GB |
| MSRP | US$1,999 | US$1,599 | US$899 |
表 2：Jetson AGX Orin 系列模組與開發人員套件的摘要對比
同級最佳的效能
Jetson Orin 可以顯著提升您的下一代應用程式。我們使用 Jetson AGX Orin 開發人員套件，為高度準確、可在生產環境中使用的電腦視覺和對話式人工智慧的預先訓練模型，測量效能的幾何平均值。測試包括以下基準：
- NVIDIA PeopleNet，偵測人群
- NVIDIA ActionRecognitionNet，2D 和 3D 模型
- NVIDIA LPRNet，車牌辨識
- NVIDIA DashcamNet、BodyPoseNet，預估多人姿勢
- Citrinet-1024，語音辨識
- BERT-base，自然語言處理
- FastPitchHifiGanE2E，文字轉語音
相較於 Jetson AGX Xavier，NVIDIA JetPack 5.0 開發人員預覽版加上 Jetson AGX Orin，效能提升了 3.3 倍。我們預計隨著未來軟體的改進，效能將會提升將近 5 倍。從推出第一個支援 Jetson AGX Xavier 的 NVIDIA JetPack 4.1.1 開發人員預覽版以來，Jetson AGX Xavier 的效能已提高 1.5 倍。
我們已針對 Jetson AGX Orin 開發人員套件進行基準測試。PeopleNet 與 DashcamNet 提供了可以在 GPU 和兩個 DLA 上同時運行密集模型的範例。DLA 可以卸載部分在 GPU 上運行的人工智慧應用程式，此種同時運行的能力，讓它們可以平行運行。
PeopleNet、LPRNet、DashcamNet 及 BodyPoseNet 提供了在 Jetson 上運行密集 INT8 基準測試的範例。ActionRecognitionNet 2D 和 3D以及對話式人工智慧基準測試，提供了運行密集 FP16 基準測試效能的範例。在 NVIDIA NGC 上可以找到此類模型。
此外，Jetson Orin 持續在提高邊緣端人工智慧的標準，使 NVIDIA 的整體排名在最新的 MLPerf 產業推論基準測試中進一步向上提升。相較於之前 Jetson AGX Xavier 的結果，Jetson AGX Orin 在此類 MLPerf 基準測試中，效能提高了 5 倍，效能平均提高了 2 倍。
使用 Jetson 軟體縮短上市時間
Jetson Orin 在同樣強大的 NVIDIA 人工智慧軟體支援下，創造出領先同級產品的效能與能效表現，此類軟體是部署在 GPU 加速的資料中心、超大規模伺服器及強大的人工智慧工作站中。
NVIDIA JetPack 是 Jetson 平台的基礎 SDK。NVIDIA JetPack 為硬體加速之邊緣人工智慧開發作業，提供完整的開發環境。Jetson Orin 是由 NVIDIA JetPack 5.0 支援，包括以下內容：
- LTS Kernel 5.10
- 以 Ubuntu 20.04 為基礎的根檔案系統
- 以 UEFI 為基礎的引導加載程式
- 具有 CUDA 11.4、TensorRT 8.4 和 cuDNN 8.3 的最新運算堆疊
NVIDIA JetPack 5.0 同時支援 Jetson Xavier 模組。
NVIDIA 提供了適用於多種場合的應用程式框架，協助您在 Jetson 平台上快速開發完全加速的應用程式：
- 使用 DeepStream 快速開發和部署視覺人工智慧應用程式和服務。DeepStream 為端到端的人工智慧工作流程加速提供硬體加速插件，以提供超越推論的硬體加速。
- NVIDIA Isaac 提供硬體加速的 ROS 套裝軟體，讓 ROS 開發人員可以更輕鬆地建立高效能的機器人解決方案。
- 由 Omniverse 支援的 NVIDIA Isaac Sim 工具，可以製作出精準符合物理原則、畫面逼真的虛擬環境，以於開發、測試和管理人工智慧機器人。
- NVIDIA Riva 為自動語音辨識（automatic speech recognition，ASR）和文字轉語音（text-to-speech，TTS）提供可以輕鬆自訂的最先進預先訓練模型。您可以使用此類模型快速開發出 GPU 加速的對話式人工智慧應用項目。
為了加速開發可以在實際環境中使用的高精度人工智慧模型，NVIDIA 提供了多種工具以產生訓練資料、訓練和最佳化調整模型，以及快速建立可以隨時部署的人工智慧模型。
使用 NVIDIA Omniverse Replicator 產生合成資料有助於建立優質資料集，以促進訓練模型的成效。使用 Omniverse Replicator 建立不僅在現實環境中很難建立，有時候甚至不可能建立大型多樣化的合成資料集。使用合成資料搭配真實資料來訓練模型，可以顯著提高模型的準確性。
NGC 上各種 NVIDIA 預先訓練的模型，針對多種使用場合，提供了高度精確及完成最佳化調整的模型和模型架構。此類預先訓練的模型可以投入生產環境中。您可以透過 NVIDIA TAO 工作流程，利用自己的真實或合成資料進行訓練，進一步自訂此類模型，快速建立一個準確、可隨時部署的模型。
觀看集 NVIDIA 技術在一體的 Jetson AGX Orin，實際與機器人一起使用的情況。
影片 1：NVIDIA Jetson AGX Orin：針對次世代機器人的先進 AI 效能
在這一支入門影片中，瞭解 Jetson AGX Orin 開發人員套件中的所有內容：
影片 2：開始使用 Jetson AGX Orin 開發人員套件
需要更多與 NVIDIA Jetson Orin 模組中之各項 NVIDIA 技術有關的資訊，請觀看關於 Jetson 軟體的線上研討會。
迎接自主機器與機器人技術的新時代
訂購 Jetson AGX Orin 開發人員套件與下載 NVIDIA JetPack 5.0 SDK。在下載中心可以取得其他與 Jetson AGX Orin 有關的文件。需要其他的資訊與支援，請造訪 NVIDIA 嵌入式開發人員頁面和論壇，社群專家可以提供協助。