" 英偉達版樹莓派 " 這波良心了,性能漲 70%,降價 50%。
老黃召開廚房發布會,從烤箱裏端出這台 " 掌心 AI 超算 "。
△怎麽不穿皮衣了
新版Jetson Orin Nano開發版套件,算力從 40 TOPS 漲到 67 TOPS(INT8),内存帶寬增加 50%,達到 102GB/s,功耗僅 25 瓦。
價格卻降了 50%,從 $499 降到 $249(約人民币 1800 元)。
67 TOPS 什麽概念?
比目前英特爾、AMD 或高通 AI PC 中的大部分 NPU 都快
能跑主流的 7B、8B 大模型量化版,如阿裏 Qwen,Llama 等
最高支持 4 個攝像頭,也能跑 8B 的視覺語言模型和 ViT 模型
英偉達稱這是 " 最實惠的生成式 AI 超級計算機 "。
無論是用來創建基于 RAG 的聊天機器人、視覺 AI Agent,還是部署基于 AI 的機器人,都是理想的解決方案。
開發套件包括一個 Jetson Orin Nano 8GB 系統級模塊(SoM)和一個參考載闆,可用于邊緣 AI 應用的原型設計,功耗最高 25w。
采用 6 核 Arm CPU 和 NVIDIA Ampere 架構 GPU,GPU 配備 1024 個 CUDA 核心和 32 個張量核心,支持多個并發 AI 應用管道和高性能推理。它最多可以支持 4 個攝像頭,提供比以前版本更高的分辨率和幀率。
The Register 估計在運行 4 位量化版 Llama 3.1 8B 模型時,能達到約 18-20 tokens/s 的速度。
Jetson 支持一系列英偉達 AI 軟件,包括用于機器人的 NVIDIA ISAAC、用于視覺 AI 的 NVIDIA Metropolis 和用于傳感器處理的 NVIDIA Holoscan。
另外可以使用 NVIDIA Omniverse Replicator 生成合成數據,并使用 NVIDIA TAO 工具包微調預訓練模型,可以縮短開發時間。
老黃稱這個系列爲一種全新的處理器——機器人處理器。
推出第一代産品時,沒人理解英偉達在做什麽
到現在,它已經支持了各種機器人,帶輪子的、兩條腿的、三條腿的。
額外的好消息是,新推出的軟件更新,也将爲買過舊版開發套件的用戶帶來生成式 AI 性能提升。
有網友表示,黃仁勳就是新的聖誕老人。
參考鏈接:
[ 1 ] https://blogs.nvidia.com/blog/jetson-generative-ai-supercomputer/
[ 2 ] https://www.theregister.com/2024/12/17/nvidia_jetson_orin/
— 完 —
點這裏關注我,記得标星哦~
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>