使用 NVIDIA Jetson Orin Nano 解決入門級邊緣人工智慧挑戰

NVIDIA 在2022年的 GTC 大會中宣布推出 Jetson Orin Nano 系列系統模組（SoM）。 它們的人工智慧運算效能是 NVIDIA Jetson Nano 的80倍，為入門級邊緣端人工智慧及機器人應用項目樹立了新標準。

現在，Jetson 系列首次加入以 NVIDIA Orin 為基礎，涵蓋從入門級之 Jetson Orin Nano 至效能最高之 Jetson AGX Orin的模組 。 讓客戶可以輕鬆靈活地擴展其應用程式。

使用 Jetson AGX Orin 開發套件提供的完整軟體模擬支援，可以立即啟動您的 Jetson Orin Nano 開發作業。

跨產業之日常使用場合，對於增強即時處理能力的需求仍在持續擴大。 智慧相機、手持式裝置、服務型機器人、智慧無人機、智慧儀表等入門級人工智慧應用程式，都面臨了類似的難題。

這些應用項目需要在裝置上，針對來自多模式感測器管道之資料進行更多低延遲處理，同時保持在節能、成本最佳化之小尺寸體積的限制範圍內。

Jetson Orin Nano 系列

Jetson Orin Nano 系列生產模組將於一月上市，售價為199美元起。這些模組是以最小的 Jetson 外形尺寸，提供高達 40 TOPS 的人工智慧運算效能，且功率選項低至 5W 及高達 15W。該系列推出兩個版本：Jetson Orin Nano 4GB 及 Jetson Orin Nano 8GB。

如圖 1 所示，Jetson Orin Nano 是以 NVIDIA Orin 架構搭配 NVIDIA Ampere 架構 GPU。其具有多達 8 個串流多處理器（SM），是由 1024 個 CUDA 核心和多達 32 個處理人工智慧運算工作的 Tensor 核心組成。

NVIDIA Ampere 架構第三代 Tensor 核心的每瓦特效能皆優於前一代，且可在支援稀疏性的情況下，帶來更高的效能表現。您可以透過稀疏性，利用深度學習網路中的細粒度結構化稀疏，將 Tensor 核心運算的吞吐量提高一倍。

Jetson Orin Nano 同時包括了一個 6 核心 Arm Cortex-A78AE CPU、影像解碼引擎、ISP、影像合成器、音訊處理引擎和影像輸入塊，可以為應用程式管道的所有部分加速。

Jetson Orin Nano 模組擁有 70x45mm 260-pin SODIMM 的小巧尺寸，包括多種高速介面：

• 最多七個 PCIe Gen3 通道
• 三個高速 10 Gbps USB 3.2 Gen2 連接埠
• 八通道 MIPI CSI-2 攝影機連接埠
• 多種感測器 I/O

我們已使 Jetson Orin Nano 和 Jetson Orin NX 模組在接腳與外型尺寸方面完全相容，以減少您的工程工作量。下表 1 顯示出 Jetson Orin Nano 4GB 與 Jetson Orin Nano 8GB 之間的差異。

	Jetson Orin Nano 4GB	Jetson Orin Nano 8GB
AI 效能	20 Sparse TOPs | 10 Dense TOPs	40 Sparse TOPs | 20 Dense TOPs
GPU	512 核心 NVIDIA Ampere 架構 GPU，搭配 16 個 Tensor Core	1024 核心 NVIDIA Ampere 架構 GPU，搭配 32 個 Tensor Core
GPU 最大頻率	625 MHz
CPU	6 核心 Arm Cortex-A78AE v8.2 64 位元 CPU 1.5 MB L2 + 4 MB L3
CPU 最大頻率	1.5 GHz
記憶體	4GB 64 位元 LPDDR5 34 GB/s	8GB 128 位元 LPDDR5 68 GB/s
儲存裝置	–（支援外部 NVMe）
視訊編碼	在 1-2 CPU 核心的支援下，可以達 1080p30
視訊解碼	1x 4K60 (H.265) | 2x 4K30 (H.265) | 5x 1080p60 (H.265) | 11x 1080p30 (H.265)
攝影機	最多 4 具攝影機（8 具透過虛擬通道*）8 通道 MIPI CSI-2 D-PHY 2.1（最高 20 Gbps）
PCIe	1 x4 + 3 x1 (PCIe Gen3、Root Port & Endpoint)
USB	3x USB 3.2 Gen2（10 Gbps）3x USB 2.0
網路	1x GbE
顯示器	1x 4K30 多模 DisplayPort 1.2 (+MST)/e DisplayPort 1.4/HDMI 1.4*
其他 I/O	3x UART、2x SPI、2x I2S、4x I2C、1x CAN、DMIC 及 DSPK、PWM、GPIOs
功率	5W – 10W	7W – 15W
機械規格	69.6 mm x 45 mm 260-pin SO-DIMM 接頭
價格	$199†	$299†

表 1：Jetson Orin Nano 系列規格

*更多與 DisplayPort 1.4a、HDMI 2.1 及虛擬通道其他相容性有關的資訊，請參見 Jetson Orin Nano 系列資料表。

† 1KU 容量

更多與支援功能有關的資訊，請參見 NVIDIA Jetson Linux 開發人員指南的軟體功能部分。

立即使用 Jetson AGX Orin 開發套件與模擬功能開始您的開發作業

Jetson AGX Orin 開發套件與所有 Jetson Orin 模組共用一個 SoC 架構，以使開發套件可以模擬任何模組，讓您能輕鬆地立即開始開發下一個產品。

您無須等到取得 Jetson Orin Nano 硬體，即可開始將您的應用程式移植到新的 NVIDIA Orin 體系結構和最新的 NVIDIA JetPack。使用今天發布的新疊加層，即可透過開發套件模擬 Jetson Orin Nano 模組，如同使用其他 Jetson Orin 模組一樣。將開發套件設定為模擬 Jetson Orin Nano 8GB 或 Jetson Orin Nano 4GB，即能開發和運行完整的應用程式工作流程。若需要更多與模擬模式有關的資訊，請參見 Develop for All Six NVIDIA Jetson Orin Modules with the Power of One Developer Kit。

Jetson Orin Nano 的效能基準

NVIDIA 使用 Jetson AGX Orin，在 MLPerf 的推論效能類別中佔有領先地位。Jetson Orin 模組可以大幅提升下一代應用程式的執行效能，且現今的入門級人工智慧裝置也可以使用相同的 NVIDIA Orin 架構。

我們使用 NVIDIA JetPack 5.0.2 的模擬模式，運行 Jetson Orin Nano 的電腦視覺基準測試，結果顯示其樹立了新的標準。測試項目包括來自 NGC 的一些密集 INT8 和 FP16 預先處理模型，以及標準 ResNet-50 模型。我們同時在 Jetson Nano、TX2 NX 和 Xavier NX 上運行相同的模型，以進行比較。

以下是基準的完整清單：

• 適用於修剪人員偵測的 NVIDIA PeopleNet v2.3、適用於最高精度人員偵測的 NVIDIA PeopleNet v2.5
• NVIDIA ActionRecognitionNet 2D 和 3D 模型
• 適用於辨識車牌的 NVIDIA LPRNet
• 適用於估計多人之人體姿勢的 NVIDIA DashCamNet、 BodyPoseNet
• ResNet-50（224×224）模型

以此類基準的幾何平均數來看，相較於 Jetson Nano，Jetson Orin Nano 8GB 的效能高出三十倍。未來隨著軟體的進步，我們預計可將效能提高 45 倍。其他 Jetson 裝置從發布第一個支援軟體以來，效能已提高 1.5 倍，我們預計 Jetson Orin Nano 也會如此。

Jetson 運行 NVIDIA AI 軟體堆疊，並提供特定使用場合的應用程式框架，包括適用於機器人的 NVIDIA Isaac、適用於視覺人工智慧的 NVIDIA DeepStream 及適用於會話人工智慧的 NVIDIA Riva。使用 NVIDIA Omniverse Replicator，可以節省產生合成資料（SDG）的大量時間，而使用 NVIDIA TAO 工具套件，可以節省微調 NGC 目錄中預先處理人工智慧模型的大量時間。

Jetson 相容於整個 NVIDIA AI 加速運算平台，有助於簡化開發和無縫遷移活動。想要取得更多與我們引入 Jetson Orin 之 NVIDIA 軟體技術有關的資訊，請加入我們即將推出的 NVIDIA JetPack 5.0.2 線上研討會。

使用 NVIDIA ISAAC ROS 強化入門級機器人

Jetson Orin 平台可以解決機器人領域中最棘手的難題，為七十多萬的 ROS 開發者帶來加速運算。適用於 ROS 的最新 NVIDIA Isaac 軟體增強功能，結合了 Jetson Orin Nano 強大的硬體功能，可以為機器人專家提供卓越的效能和生產力。

新的 Isaac ROS DP 版本已最佳化可以在 Jetson Orin 平台上執行的 ROS2 節點處理管道，並提供全新以 DNN 為基礎的 GEMS，以提高吞吐量。Jetson Orin Nano 可以利用高度最佳化的 ROS2 軟體包，執行可以閃避障礙物的定位、即時 3D 重建和深度估計等任務。

不同於僅能處理簡單應用程式的原始 Jetson Nano，Jetson Orin Nano 可以運行更複雜的應用程式。隨著致力於持續改善 NVIDIA ISAAC ROS，Jetson Orin 平台的精準度和吞吐量也會不斷提高。

Jetson Orin Nano 是開發下一代服務型機器人、智慧無人機等裝置的機器人專家最理想的解決方案，擁有高達 40 TOPS 的運算能力，並兼具節能與小巧尺寸的優點，可以用於實現現代人工智慧推論工作流程。

訂購 Jetson AGX Orin 開發套件與安裝最新的 NVIDIA JetPack，開始進行開發六個 Jetson Orin 模組的作業。

更多與模擬 Jetson Orin Nano 模組之覆蓋層有關的資訊，請參見 Jetson Linux 及閱讀Jetson 下載中心的 NVIDIA Jetson Orin Nano 文件。更多資訊和支援，請參見 NVIDIA Embedded Developer 頁面與 Jetson 論壇。